本期节目，我们将深入探讨Muon优化器，这个在神经网络隐藏层训练中表现卓越的新技术。它如何通过独特的正交化更新机制，显著提升CIFAR-10和NanoGPT等任务的训练速度，甚至超越AdamW等主流优化器？我们还将揭示其设计原理，包括Newton-Schulz迭代的巧妙应用、系数调优的奥秘，以及它如何有效解决优化器研究中常见的“基线不足”问题。此外，我们还将讨论其与Shampoo等先行者的异同，以及未来在大规模模型训练中的潜力。锁定AI Radio FM，一起探索AI加速训练的前沿！