本期AI Radio FM - 技术频道，我们将深入探讨MagiAttention，这是一种创新的分布式注意力机制，旨在解决训练具有超长上下文（如视频生成模型）和复杂异构注意力掩码的大规模模型时面临的挑战。我们将讨论其核心组件，包括Flex-Flash-Attention内核、计算负载均衡策略、零冗余通信原语以及多阶段重叠技术，并分析其如何在实验中实现近乎线性的可扩展性。

在本期 AI Radio FM - 技术频道中，我们深入探讨了 BitNet b1.58 2B4T 的技术报告。这是一款开创性的 20 亿参数、原生 1 比特大语言模型，经过 4 万亿 token 训练。我们讨论了它的架构创新、独特的训练方法、与全精度及其他量化模型的性能比较，以及它在大幅降低内存占用、能耗和延迟方面的显著优势。加入我们，了解这款模型如何挑战全精度权重对于高性能 LLM 的必要性，并为资源受限环境中的强大 AI 部署开辟新途径。

本期 AI Radio FM - Technology Channel 深入探讨了基于矩阵正交化的 Muon 优化器如何通过关键技术扩展到大规模语言模型训练，并介绍了使用 Muon 训练的 Moonlight 模型及其卓越性能。

本播客将深入探讨 Kimi-VL，一款高效的开源混合专家（MoE）视觉语言模型（VLM）。它在多模态推理、长文本理解和强大的代理能力方面表现出色，同时仅激活语言解码器中的 28 亿参数。我们将讨论其架构、预训练阶段、性能以及未来的发展方向。

深入探讨语音对话模型的最新进展，涵盖语音表示、训练范式、流媒体、双工和交互能力。

本期节目深入探讨WavTokenizer，一种创新的音频编解码器，它利用单一量化器实现了前所未有的压缩率，同时保持了业界领先的重建质量和更丰富的语义信息。我们将讨论其核心技术、与现有SOTA模型的对比及其在下游任务（如TTS）中的潜力。

深入探讨HybridFlow框架，解析其混合编程模型、3D-HybridEngine和自动设备映射如何解决现有RLHF系统的局限性，实现显著的性能提升。

本期节目深入探讨了 Language-Codec 这项创新的音频编解码技术。我们讨论了现有编解码器与大型语音语言模型之间的差距，Language-Codec 如何通过 MCRVQ 机制、更大的数据集和改进的结构来弥补这些差距，以及它在音频重建和下游零样本 TTS 任务中的卓越表现。

欢迎收听AI Radio FM - 技术频道。本期节目，我们深入探讨WavTokenizer，一个旨在实现极致压缩和高质量音频重建的创新性声学编解码器。我们将讨论它如何通过单一量化器、扩展的VQ空间和改进的解码器结构，在保持丰富语义信息的同时，挑战现有技术。

本期 AI Radio FM 深入探讨 MegaTTS 3，一项创新的零样本语音合成技术。我们讨论了它如何通过稀疏对齐策略解决现有 TTS 模型的对齐难题，利用多条件无分类器指导实现灵活的口音控制，并通过 PeRFlow 技术加速生成。一起了解 MegaTTS 3 如何在语音质量、自然度、鲁棒性和效率方面达到业界领先水平。