本期播客探讨了强化学习（RL）在音频问答（AQA）任务中的应用，以及如何通过小组相对策略优化（GRPO）算法提升大型音频语言模型（LALM）的性能。研究表明，即使在有限数据集下，RL也能显著优于监督微调（SFT），并揭示了LALM在音频理解和推理方面仍有巨大提升空间。

本期播客深入探讨了StreamingLLM，这是一种新的大型语言模型（LLM）框架，它解决了在流式应用中部署LLM的关键挑战。通过引入“注意力沉淀”的概念，StreamingLLM使得LLM能够处理无限长度的文本输入，而无需进行微调，同时保持了效率和性能。

本期播客深入探讨了一种名为Dynamic Tanh (DyT) 的新型技术，该技术有望取代Transformer模型中的归一化层。我们将讨论DyT的原理、优势以及在各种任务中的应用，挑战归一化层在现代神经网络中不可或缺的传统观念。

深入探讨超大规模语言模型训练的播客，从单GPU到数千GPU集群，涵盖内存优化、计算效率和通信开销等关键挑战。

深入探讨超大规模语言模型训练：从单GPU到GPU集群的旅程

本期播客深入探讨InspireMusic，一个结合了超分辨率和大型语言模型的高保真长音乐生成框架。我们将讨论其独特之处，包括音频标记化、自回归Transformer、超分辨率流匹配模型，以及它如何实现长达8分钟的高质量音乐生成。同时，我们也会对比InspireMusic与其他顶尖开源系统（如MusicGen和Stable Audio 2.0）的性能。

深入探讨谷歌 DeepMind 最新的 Gemma 3 多模态开放模型系列，包括其架构、训练过程、性能以及安全措施。

本期播客深入探讨了Comet，这是一种为混合专家模型（MoE）设计的优化系统，通过精细的计算与通信重叠，显著提高了MoE模型的执行效率。我们将讨论Comet的两个关键设计：基于共享张量的依赖解析和自适应工作负载分配，以及它们如何克服现有MoE系统中的挑战。我们还将分享Comet在实际生产环境中的部署情况，以及它如何为大规模GPU集群节省数百万GPU小时。

本期播客深入探讨Flux，一种通过内核融合在GPU上实现快速软件通信重叠的新方法。Flux通过将通信和计算操作分解为更细粒度的操作并融合到更大的内核中，有效隐藏通信延迟，同时不影响内核效率。

本期播客深入探讨YourTTS，一个基于VITS模型并进行多项创新改进的零样本多说话人TTS和语音转换系统。我们详细讨论了YourTTS如何实现英语零样本多说话人TTS的SOTA结果，以及在VCTK数据集上与SOTA相当的零样本语音转换结果。此外，我们还探讨了YourTTS在目标语言单说话人数据集上的应用，以及通过少于1分钟语音微调模型以适应新说话人的能力。