Seventy3

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Summary

虽然带有 PreNorm 的残差连接是现代大模型（LLM）的标准配置，但它采用固定单位权重累加各层输出。这种均匀聚合会导致隐藏状态随着深度增加而出现不受控的增长，从而逐渐稀释（dilution）了每一层的贡献。

为了解决这一问题，我们提出了 Attention Residuals (AttnRes)，通过学习到的、依赖输入的权重来动态选择性地聚合之前的层。

1. 注意力残差 (AttnRes)

   • 机制：将固定的加法累加替换为对前面所有层输出的 Softmax 注意力机制。

   • 优势：允许模型根据当前输入，自主决定哪些历史信息更重要，从而实现跨深度的选择性聚合。

2. 分块优化 (Block AttnRes)

   • 挑战：在超大规模模型中，对之前所有层进行注意力计算会带来巨大的内存和通信开销。

   • 方案：将各层划分为块（Blocks），仅在块级表示上进行注意力操作。

   • 工程实现：结合缓存式流水线通信和两阶段计算策略，使其成为标准残差连接的无缝替换（drop-in replacement），且额外开销极小。

• 一致的扩展性：扩展定律（Scaling Law）实验确认，AttnRes 在不同模型规模下均表现出稳定的性能提升。

• 解决稀释问题：消融实验证明了“内容相关深度选择”的有效性。AttnRes 缓解了 PreNorm 带来的稀释效应，使输出量级和梯度分布在不同深度上更加均匀。

• 在大规模场景中的验证：

  • 我们将 AttnRes 集成到了 Kimi Linear 架构（总参数 48B，激活参数 3B）中。

  • 在 1.4 万亿（1.4T）Token 上进行预训练。

  • 结果：在所有评估的任务中，模型下游性能均显著提升。

总结： AttnRes 改变了深度学习模型“简单堆叠”层的传统方式，通过引入纵向维度上的注意力机制，让模型能够更聪明地管理随着深度增加而累积的信息。

原文链接：https://arxiv.org/abs/2603.15031

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

像 Claude Code 这样的 LLM 智能体不仅能编写代码，还能用于自主的 AI 研究与工程开发。我们展示了一个由 Claude Code 驱动的“自主研究”（Autoresearch）流水线，它成功发现了新型白盒对抗攻击算法。在越狱和提示词注入的评估中，该算法的性能显著超越了现有的所有（30 多种）方法。

• 突破性的攻击成功率：该智能体从 GCG 等现有实现出发进行自我迭代。在针对 GPT-OSS-Safeguard-20B 模型的 CBRN（化生放核） 敏感查询攻击中，新算法实现了高达 40% 的成功率（ASR），而现有算法均 ≤ 10%。

• 卓越的泛化与迁移能力：在代理模型上优化的攻击可以直接迁移至其他模型。在针对 Meta-SecAlign-70B 的测试中，该算法达成了 100% 的攻击成功率，远超最佳基准方法的 56%。

• 安全研究的自动化范式：实验结果初步证明，增量式的安全研究可以由 LLM 智能体自动化完成。白盒对抗红队测试尤其适合这一领域，因为现有方法提供了强大的起点，且优化目标能够提供密集、量化的反馈。

开源发布： 我们已将所有发现的攻击算法、基准实现及评估代码公开在：[相关 URL 链接]。

原文链接：https://arxiv.org/abs/2603.24511

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence

Summary

我们推出了 ARC-AGI-3，这是一个交互式基准测试，旨在通过全新的、抽象的、回合制环境来研究智能体智能（Agentic Intelligence）。在这种环境中，智能体必须在没有显式指令的情况下，自行探索、推断目标、构建环境动力学的内部模型，并规划有效的行动序列。

与前作 ARC-AGI-1 和 2 一样，ARC-AGI-3 完全专注于评估针对新任务的流体适应效率（Fluid Adaptive Efficiency），同时排除了语言和外部知识的影响。

• 核心知识先验：ARC-AGI-3 环境仅利用“核心知识”（Core Knowledge）先验（如物体持久性、简单几何等），不依赖特定领域的常识。

• 难度校准：通过对人类测试者进行广泛测试来校准难度。数据显示，人类可以解决 100% 的环境任务。

• 巨大的能力鸿沟：形成鲜明对比的是，截至 2026 年 3 月，最前沿的 AI 系统得分仍低于 1%。

在本文中，我们详细介绍了：

1. 基准测试设计：环境的构建逻辑与交互机制。

2. 评分框架：一种基于人类行动基准的效率评分系统。

3. 方法论：用于构建、验证及校准这些环境的具体方法。

总结： ARC-AGI-3 为衡量 AI 迈向通用人工智能（AGI）过程中的实时推理与自主学习能力设立了极高的标准。它证明了目前的 AI 尽管在处理静态知识上表现出色，但在陌生的、需要主动探索的环境中，与人类智能相比仍存在量级上的差距。

原文链接：https://arxiv.org/abs/2603.24621

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Agentic AI and the next intelligence explosion

Summary

“AI 奇点”常被误认为是一个单一、如神一般的智性存在。但进化论揭示了另一条不同的路径：智能在本质上是多元、社交且具有关系性的。

最近在智能体 AI（Agentic AI）领域的进展表明，像 DeepSeek-R1 这样前沿的推理模型，其进步并非简单地源于“思考时间更长”，而是通过模拟内部的“思想社会”（societies of thought）——即通过自发的认知辩论、论证、验证和调和来解决复杂任务。

这一演进将我们带入了一个全新的维度：

• 人机“半人马”时代：我们正在进入混合行动者的时代，集体的能动性（Collective Agency）已经超越了个人控制的范畴。

• 从双向对齐到制度对齐：要扩展这种智能，必须将重点从传统的双向对齐（如 RLHF）转向制度对齐（Institutional Alignment）。

• 数字协议的制衡：通过设计仿照组织和市场的数字协议，我们可以构建一套具备“制衡机制”的社会基础设施。

总结： 下一次智能爆炸将不会体现为单一的硅基大脑，而是一个复杂、组合式的社会——它像城市一样专业分工并不断扩张。

没有思想是一座孤岛。

原文链接：https://arxiv.org/abs/2603.20639

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

HyperAgents

Summary

自我改进的人工智能系统旨在通过学习如何优化自身的学习与问题解决过程，从而减少对人工工程的依赖。现有的自我改进方法通常依赖于固定的、人工设计的元级（meta-level）机制，这从根本上限制了此类系统进化的速度。

达尔文-哥德尔机（DGM） 通过反复生成并评估自我修改的变体，展示了在编程领域的开放式自我改进。由于评估和自我修改本身都属于编程任务，编程能力的提升可以直接转化为自我改进能力的增强。然而，这种“任务能力”与“改进能力”之间的对齐关系，在编程以外的领域通常并不成立。

为此，我们引入了 Hyperagents（超智能体）。这是一种自指（self-referential）智能体，它将“任务智能体”（负责解决目标任务）和“元智能体”（负责修改自身及任务智能体）整合为一个单一的可编辑程序。

• 元认知自我修改：关键在于，元级修改程序本身也是可编辑的。这使得系统不仅能改进任务解决行为，还能改进产生未来改进的机制。

• 消除领域局限性：我们通过扩展 DGM 实现了 DGM-Hyperagents (DGM-H)。它消除了任务性能与自我修改技能必须在特定领域对齐的假设，从而潜在地支持在任何可计算任务上实现自我加速的进化。

在多个不同领域中，DGM-H 的性能随时间推移不断提升，其表现优于无自我改进能力的基准模型、缺乏开放式探索的系统以及先前的自我改进系统。

此外，DGM-H 还能优化其生成新智能体的过程（例如引入持久化记忆、性能追踪等功能）。这些元级改进不仅可以跨领域迁移，还能在多次运行中持续累积。

总结： DGM-Hyperagents 展示了开放式 AI 系统的一种愿景：它们不仅仅是在搜索更好的解决方案，更是在不断优化“如何寻找改进方法”的搜索过程。

原文链接：https://arxiv.org/abs/2603.19461

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Summary

作为 Transformer 架构的核心层，注意力机制（Attention） 是大语言模型和长文本应用中的性能瓶颈。虽然 FlashAttention-3 通过异步执行和 Warp 特化（warp specialization）针对 Hopper GPU 优化了注意力计算，但其主要目标仍是 H100 架构。

当前，AI 行业正迅速转向部署基于 Blackwell 的系统（如 B200 和 GB200）。由于硬件扩展的不对称性，这些系统表现出截然不同的性能特征：其 Tensor Core 吞吐量翻倍，而其他功能单元（如共享内存带宽、指数运算单元）的提升较慢或保持不变。

为了应对 Blackwell GPU 上这些变化的瓶颈，我们开发了 FlashAttention-4，并引入以下核心技术：

1. 重新设计流水线：充分利用完全异步的矩阵乘累加（MMA）操作和更大的分块（tile）尺寸。

2. 软件模拟与重缩放：通过软件模拟指数运算和条件式 Softmax 重缩放，减少非矩阵乘法（non-matmul）操作。

3. 优化内存流量：利用 Tensor Memory 和 2-CTA MMA 模式，减少反向传播过程中的共享内存流量和原子加法（atomic adds）。

性能表现： 在 BF16 精度的 B200 GPU 上，FlashAttention-4 相比 cuDNN 9.13 实现了高达 1.3 倍的加速，相比 Triton 实现了 2.7 倍的加速。其性能达到 1613 TFLOPs/s，硬件利用率高达 71%。

工程创新： 除了算法创新，FlashAttention-4 完全使用嵌入 Python 的 CuTe-DSL 实现。与传统的基于 C++ 模板的方法相比，这种方式在保持完整表达能力的同时，将编译速度提升了 20-30 倍。

原文链接：https://arxiv.org/abs/2603.05451

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

Memex(RL): Scaling Long-Horizon LLM Agents via Indexed Experience Memory

Summary

在大语言模型（LLM）智能体执行长程任务时，有限的上下文窗口是一个根本性的瓶颈。随着执行轨迹的增长，在上下文中保留工具输出和中间推理很快变得不可行：工作上下文会变得过长，最终超过上下文预算，并且即使久远的信息仍然存在，也难以被有效利用。现有的解决方案通常通过截断或生成运行摘要来缩短上下文，但这些方法在本质上是有损的，因为它们压缩或丢弃了过去的证据本身。

我们引入了 Memex，一种索引式的经验记忆机制，它在压缩上下文的同时并不丢弃证据。Memex 维护一个紧凑的工作上下文，由简练的结构化摘要和稳定的索引组成，同时将完整的、保真的底层交互存储在这些索引下的外部经验数据库中。智能体随后可以自行决定何时对索引进行解引用（dereference），以恢复当前子目标所需的精确历史证据。

我们利用强化学习框架 MemexRL 优化了写入和读取行为。该框架采用了针对上下文预算下索引记忆使用而定制的奖励塑造（reward shaping），使智能体学会什么需要摘要、什么需要归档、如何对其进行索引以及何时进行检索。这产生了一种比仅摘要方法损耗显著更低的长程记忆形式。

我们进一步提供了一项理论分析，表明 Memex 循环具有在保持有效上下文计算量有界的同时，通过有界的解引用来保持决策质量的潜力，即使历史记录在不断增长。在具有挑战性的长程任务上的实证结果表明，使用 MemexRL 训练的 Memex 智能体在提高任务成功率的同时，显著减少了工作上下文的使用。

原文链接：https://arxiv.org/abs/2603.04257

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

KARL: Knowledge Agents via Reinforcement Learning

Summary

我们提出了一套通过强化学习训练企业搜索智能体的系统，在多种难以验证的复杂搜索任务中达到了最先进的性能。本工作主要包含四个核心贡献：

第一，我们推出了 KARLBench，这是一个多能力的评估套件，涵盖了六种不同的搜索范式，包括：约束驱动的实体搜索、跨文档报告综合、表格数值推理、详尽实体检索、技术文档上的过程推理，以及内部企业笔记的事实聚合。

第二，我们证明了在异构搜索行为上训练的模型，其泛化能力显著优于针对单一基准测试优化的模型。

第三，我们开发了一套智能体化合成流水线，利用长程推理和工具调用来生成多样化、有依据且高质量的训练数据，并利用性能不断提升的模型进行迭代引导（bootstrapping）。

第四，我们提出了一种基于迭代大批量离策（off-policy）强化学习的新型后训练范式。该范式具有极高的样本效率，对训练与推理引擎之间的差异具有稳健性，并能自然扩展到具有分布外（OOD）泛化能力的多任务训练中。

与 Claude 4.6 和 GPT 5.2 相比，KARL 在 KARLBench 的成本-质量和延迟-质量权衡中达到了帕累托最优，涵盖了训练期间属于分布外的任务。在给予充足的测试时计算量（test-time compute）的情况下，它超越了最强的闭源模型。这些结果表明，量身定制的合成数据结合多任务强化学习，能够为可靠推理（grounded reasoning）构建高性价比且高性能的知识智能体。

原文链接：https://arxiv.org/abs/2603.05218

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks

Summary

我们研究了 Transformer 语言模型中两种反复出现的现象：大规模激活（massive activations），即极少数 Token 在少量通道中表现出极端的离群值；以及注意池（attention sinks），即某些 Token 无论语义相关性如何，都会吸引不成比例的注意力权重。

此前的工作观察到这两种现象频繁共同出现，且通常涉及相同的 Token，但它们的功能角色和因果关系尚不明确。通过系统性实验，我们证明了这种共现很大程度上是现代 Transformer 架构设计的产物，且这两种现象承担着相关但截然不同的功能。

• 大规模激活在全局范围内起作用：它们诱导产生跨层持续的近乎常量的隐层表示，实际上充当了模型的隐式参数。
• 注意池在局部范围内起作用：它们调节各注意头（head）的输出，并将单个注意头引导向短程依赖。

我们确定 Pre-Norm 配置是实现这种共现的关键选择，并证明消除该配置会导致这两种现象发生解耦。

原文链接：https://arxiv.org/abs/2603.05498

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

SkillNet: Create,Evaluate, andConnectAISkills

Summary

当前的 AI 智能体能够灵活调用工具并执行复杂任务，但由于缺乏技能的系统性积累与迁移，其长远发展受到了阻碍。如果没有统一的技能巩固机制，智能体往往会“重复造轮子”，在孤立的场景中重新探索解决方案，而无法利用先前的策略。

为了克服这一局限，我们推出了 SkillNet，这是一个旨在实现 AI 技能大规模创建、评估和组织的基础设施。SkillNet 将技能组织在统一的本体中，支持从异构来源创建技能、建立丰富的关联关系，并从安全性（Safety）、完备性（Completeness）、可执行性（Executability）、可维护性（Maintainability）和成本意识（Cost-awareness）五个维度进行多维评估。

我们的基础设施集成了拥有超过 20 万项技能的存储库、一个交互式平台以及一个功能多样的 Python 工具包。在 ALFWorld、WebShop 和 ScienceWorld 上的实验评估表明，SkillNet 显著增强了智能体的表现，在多种基座模型上实现了平均奖励提升 40%，并减少了 30% 的执行步骤。通过将技能定义为可演化、可组合的资产，SkillNet 为智能体从“瞬时经验”跨越到“持久精通”提供了坚实的基础。

原文链接：https://arxiv.org/abs/2603.04448