本期播客深入探讨了一项开创性的研究，该研究首次实现了使用4比特浮点数（FP4）对大型语言模型进行全面的量化训练。我们邀请了技术专家Weedge，共同讨论了这项技术如何通过优化FP4格式（如NVFP4）、创新的分裂式舍入策略以及一个关键的理论阈值，成功地在保持与BF16基线相当性能的同时，极大地提升了训练效率。我们将揭示FP4训练从理论到大规模实践的全过程，包括它如何巧妙地利用量化感知微调（QAF）来弥补最后的性能差距，预示着AI训练硬件和算法的下一个革命。