NeurIPS 2025 官方博客发布了2025年最佳论文奖(Best Paper Awards)公告。今年共有 7 篇获奖论文,其中包括 4 篇最佳论文(Best Papers,含一篇数据集与基准测试赛道)和 3 篇亚军论文(Runner-ups)。这些论文涵盖了扩散模型理论、自监督强化学习、大语言模型(LLM)的注意力机制、推理能力、在线学习理论、神经缩放定律(Neural Scaling Laws)以及语言模型多样性的基准测试等前沿领域。
原文链接:blog.neurips.cc
最佳论文奖 (Best Papers)根据网页内容,以下四篇论文被详细列出并附带了评选委员会的评论,推测它们构成了今年的最佳论文阵容(包括主赛道和数据集赛道):
- Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
中文译名:人造蜂巢思维:语言模型的开放式同质化(及其他)
赛道:数据集与基准测试(Datasets & Benchmark Track)
核心内容:论文提出了一个名为 Infinity-Chat 的大规模数据集,包含2.6万个真实世界的开放式查询。研究发现,大语言模型(LLM)在生成内容时存在严重的“人造蜂巢思维”(Artificial Hivemind)效应,即模型内部的重复性以及不同模型之间输出的惊人相似性。这种同质化趋势引发了对人类思想被长期单一化影响的担忧。
委员会评价:该工作对理解现代语言模型的多样性、多元化和社会影响做出了及时且实质性的贡献,揭示了当前奖励模型和自动化评审与人类偏好之间的校准偏差。 - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
中文译名:大语言模型的门控注意力:非线性、稀疏性与无注意力汇(Attention-Sink-Free)
核心内容:研究团队在 Scaled Dot-Product Attention (SDPA) 后引入了一种简单的特定头部的 Sigmoid 门控机制。通过在 15B MoE 模型和 1.7B 稠密模型上的大量实验,证明这种改进能持续提升性能、训练稳定性和上下文扩展能力,并解决了“注意力汇”(attention sink)现象。
委员会评价:该发现得到了大规模实验的支持,改进方法简单易行且效果显著,预计将被广泛采用。作者分享工业级算力下的研究成果也受到高度赞扬。 - 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
中文译名:用于自监督强化学习的 1000 层网络:扩展深度可开启新的目标达成能力
核心内容:论文挑战了强化学习(RL)只能用于浅层网络的传统观点。作者展示了通过自监督和对比强化学习,可以将网络深度扩展到 1000 层以上。在没有外部奖励或演示的情况下,更深的网络不仅提高了成功率,还涌现出了更复杂的行为能力。
委员会评价:该工作提出了一种新颖且易于实施的 RL 范式,证明了 RL 可以随着网络深度的增加而有效扩展,打破了以往认为 RL 信号不足以指导极深网络的假设。 - Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
中文译名:为什么扩散模型不会死记硬背:训练中隐式动态正则化的作用
核心内容:研究探讨了扩散模型为何能生成新颖内容而不是简单记住训练数据。作者发现了两个不同的时间尺度:早期生成高质量样本的时间,以及后期出现记忆化的时间。研究表明,存在一种隐式动态正则化机制,使得模型在过参数化设置下也能避免死记硬背,保持泛化能力。
委员会评价:该论文从理论和实验两方面深入剖析了生成模型的泛化机制,具有重要的理论价值。