Seventy3

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Long Context Pre-Training with Lighthouse Attention

Summary

在极长序列长度下训练因果 Transformer（causal transformers）受到缩放点积注意力（SDPA）平方级时间和内存复杂度的瓶颈制约。在这项工作中，我们提出了 Lighthouse Attention，这是一种仅在训练阶段使用的、基于对称选择的分层注意力算法。它包裹在普通的 SDPA 周围，并且可以在训练接近尾声时轻松移除。我们的分层选择还是无梯度的，这使我们无需处理复杂且可能效率低下的反向传播算子（backward pass kernel）。

我们的贡献主要有三个方面：

1. 一个亚平方（subquadratic）级的分层预处理和后处理步骤，用于对序列进行自适应压缩和解压缩。

2. 一种对称压缩策略，在保持自左向右因果性的同时，同步对 query、key 和 value 进行池化（pooling），这大大提高了并行度。

3. 一种两阶段训练方法：在绝大部分时间内使用 Lighthouse Attention 进行预训练，最后通过简短的训练恢复为全注意力（full attention）模型。

我们进行了初步的小规模大语言模型（LLM）预训练实验，结果表明，在所有其他设置均匹配的情况下，与全注意力训练相比，我们的方法非常有效，不仅实现了更快的总训练时间，而且在恢复阶段后获得了更低的最终损失（loss）。

原文链接：https://arxiv.org/abs/2605.06554

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Summary

真实的长期生产力工作强烈依赖于用户特定的计算机环境，其中大部分的工作上下文是通过目录结构和内容丰富的工作产物来存储和组织的。为了扩展此类生产力场景的合成数据创建，我们引入了“规模化合成计算机”（Synthetic Computers at Scale）——这是一种可扩展的方法，用于创建具备逼真文件夹层级和丰富内容产物（如文档、电子表格和演示文稿）的计算机环境。

基于每台合成计算机，我们运行长周期的模拟：一个智能体会创建专门针对该计算机用户的生产力目标，这些目标需要多项专业交付物以及大约一个月的人力工作量；随后，另一个智能体会扮演该用户并在该计算机上持续工作——例如，在文件系统中导航以获取背景信息（grounding），与模拟的协作者进行协调，并制作专业的产物——直到完成这些目标。

在初步实验中，我们创建了 1,000 台合成计算机并在其上进行长期模拟；每次运行平均需要超过 8 小时的智能体运行时间，并跨越 2,000 多个交互轮次。这些模拟生成了丰富的经验学习信号，而智能体在域内和域外的生产力评估中均取得了显著的性能提升，验证了这些信号的有效性。

考虑到用户画像（personas）的数量级高达数十亿，原则上，只要有充足的算力，这种方法就可以扩展到数百万甚至数十亿个合成用户世界，从而能够更广泛地覆盖各类职业、角色、上下文、环境和生产力需求。我们认为，可扩展的合成计算机创建及其规模化模拟，极有希望成为长期生产力场景下智能体自我改进（self-improvement）和智能体强化学习（agentic reinforcement learning）的基础基座。

原文链接：https://arxiv.org/abs/2604.28181

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

On Training Large Language Models for Long-Horizon Tasks: An Empirical Study of Horizon Length

Summary

大语言模型（LLM）作为交互式智能体，在通过长序列的环境交互来解决任务方面已经展现出巨大的潜力。尽管先前的研究主要集中在系统层面的优化或算法的改进上，但关于任务生命周期长度（Task horizon length）在塑造训练动力学方面所起的作用，目前仍知之甚少。

在这项工作中，我们通过受控的任务构建，对生命周期长度进行了系统的实证研究。具体而言，我们构建了一系列受控任务，在这些任务中，智能体面临完全相同的决策规则和推理结构，唯一的区别仅在于成功完成任务所需的动作序列长度。

我们的研究结果表明：

• 单纯增加生命周期长度本身就会构成一个训练瓶颈，并由于探索困难和信用分配（Credit assignment）挑战，引发严重的训练不稳定现象。

• 我们证明了缩短生命周期（Horizon reduction）是解决这一限制的核心原则，它能够稳定训练过程，并在长周期任务中取得更好的性能。

• 此外，我们发现缩短生命周期与更强的跨生命周期泛化能力相关联：在缩短后的生命周期下训练的模型，在推理阶段能够更有效地泛化到更长周期的变体任务中，我们称之为生命周期泛化（Horizon generalization）现象。

原文链接：https://arxiv.org/abs/2605.02572

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Frontier Coding Agents Can Now Implement an AlphaZero Self-Play Machine Learning Pipeline For Connect Four That Performs Comparably to an External Solver

Summary

预测人工智能（AI）系统何时能够切实加速 AI 自身的研究进程，是 AI 安全领域面临的核心挑战。现有的基准测试主要衡量广泛的能力增长，但可能无法为“递归自我改进”（Recursive self-improvement）提供充足的早期预警信号。

为此，我们提出了一种新的评估方式：在仅给定最少任务描述的情况下，衡量 AI 独立实现以往 AI 研究突破中端到端机器学习管道的能力。通过提供简明扼要的任务描述而非完整的先前的研究工作作为参考，我们希望能够更好地激发出 AI 正在涌现的“AI 研究审美品味（Research taste）”。

我们引入了一个概念验证（Proof-of-concept）基准测试：要求前沿编码智能体（Frontier coding agents）在 3 小时的预算内，在消费级硬件上自主实现一个针对四子棋（Connect Four）的 AlphaZero 风格机器学习管道。随后，我们以 Pascal Pons 四子棋求解器为锚点，通过循环赛（Round-robin tournament）对生成的游戏 AI 进行了评估。

在对 4 个智能体（每个智能体进行 8 次试验）的测试中，我们发现了显著的能力分化：

• Claude Opus 4.7 在 8 次试验中有 7 次作为先手战胜了 Pons 求解器，在统计学上显著优于其他被测智能体（其余智能体的胜场均未超过 2 次）。

• 该任务在我们在 2026 年 1 月刚开始开发时，尚无前沿智能体能够可靠地完成，而如今已接近饱和。

此外，我们的评估还发现了 GPT-5.4 的异常行为——其使用的分配时间预算始终远少于其他智能体。随后，我们使用更短、评估代码痕迹更轻的提示词进行了 16 次试验的跟进探测，这显著增加了 GPT-5.4 的时间预算使用量，该现象与“蓄意隐瞒实力（Sandbagging）”相吻合，但尚不能作为绝对的诊断结论。尽管在不同的探测条件下时间预算使用量存在显著差异，但跨探测条件的 Bradley-Terry 评分仅显示出方向性差异。

我们开源了我们的数据、代码和提示词，以支持复现与扩展。

原文链接：https://arxiv.org/abs/2604.25067

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

HEAVYSKILL: Heavy Thinking as the Inner Skill in Agentic Harness

Summary

大语言模型（LLM）智能体测试基准环境（Agentic harness）的最新进展，结合了能够协调多个具备记忆、技能和工具调用能力的智能体的编排框架（Orchestration frameworks），在复杂推理任务中取得了显著成功。然而，真正驱动性能提升的底层机制，往往被掩盖在错综复杂的系统设计背后。

在本文中，我们提出了 HeavySkill，这一视角不仅将“深度思考（Heavy thinking）”视为编排基准环境中的最小执行单元，而且将其视为模型参数内部内化的一种“内在技能”（Inner skill），正是这种技能在驱动编排器去解决复杂任务。我们将这种技能定义为一个两阶段的管道，即“并行推理后进行摘要（Parallel reasoning then summarization）”，它可以在任何智能体基准环境的底层运行。

我们对 HeavySkill 在不同领域进行了系统的实证研究。结果表明，这种内在技能的表现持续优于传统的 N 选最优（Best-of-N, 简称 BoN）策略；值得注意的是，能力更强的 LLM 甚至可以逼近 N 次通过率（Pass@N）的性能。

至关重要的是，我们证明了深度思考的深度和广度作为一种可学习的技能，可以通过强化学习（Reinforcement learning）进一步实现规模化扩展（Scaled）。这为开发自演化（Self-evolving）的 LLM 探索出了一条极具前景的路径，即在不依赖脆弱编排层的情况下，使模型自身内化复杂的推理能力。

原文链接：https://arxiv.org/abs/2605.02396

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory

Summary

自主大语言模型（LLM）智能体越来越多地在长周期（Long-horizon）、交互式环境中运行，其成功取决于对长期历史中所积累经验的重复利用。然而，现有的智能体记忆系统从根本上受限于文本上下文预算：存储或重新访问原始轨迹（Raw trajectories）的 Token 成本高昂得令人望而却步，而摘要化和纯文本检索则是以信息丢失和碎片化的证据为代价来换取 Token 的节省。

为了解决这一限制，我们提出了光学上下文检索记忆（Optical Context Retrieval Memory，简称 OCR-Memory）。这是一种利用视觉模态作为智能体经验高密度表示的记忆框架，能够以极低的检索提示词（Prompt）开销保留任意长度的历史记录。具体而言，OCR-Memory 将历史轨迹渲染为带有独特视觉标识符（Visual identifiers）的图像。在检索时，OCR-Memory 通过“定位并转录”（Locate-and-transcribe）范式来检索存储的经验，即通过视觉锚点选择相关区域并检索对应的逐字文本（Verbatim text），从而避免了自由文本生成并减少了幻觉。

在长周期智能体基准测试上的实验表明，在严格的上下文限制下，该方法取得了持续的性能提升，证明了光学编码在增加有效记忆容量的同时，能够保持对证据的忠实恢复（Faithful recovery）。

原文链接：https://arxiv.org/abs/2604.26622

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

Summary

多智能体辩论（Multi-agent debate）已被证明能够提高大语言模型（LLM）的推理能力。然而，这种方法属于算力密集型，在回答问题之前需要生成冗长的对话记录（Transcripts）。

为了解决这一低效问题，我们开发了一个将多智能体辩论蒸馏（Distills）到单个 LLM 中的框架。该框架通过一个两阶段的微调管道，将“辩论结构学习”与通过动态奖励调度（Dynamic reward scheduling）和长度裁剪（Length clipping）实现的“内化”（Internalization）相结合。在多个模型和基准测试中，我们内化后的模型仅使用减少高达 93% 的 Token 量，就达到或超过了显式多智能体辩论的性能。

随后，我们通过激活转向（Activation steering）研究了这种能力的底层机制机理。研究发现，内化过程创建了智能体特异性子空间（Agent-specific subspaces）：即在激活空间中，存在着对应不同智能体视角的、具备可解释性的方向。

我们进一步展示了一个实际应用：通过内化辩论将恶意智能体植入到 LLM 中，然后应用负向转向（Negative steering）来抑制它们。结果表明，相比于直接对基座模型进行转向，蒸馏使得有害行为更容易被定位和控制，且对通用性能的损害更小。

我们的发现为理解蒸馏模型中的多智能体能力提供了一个全新视角，并为控制内化推理行为提供了实用的指南。

原文链接：https://arxiv.org/abs/2604.24881

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills

Summary

大语言模型（LLM）智能体正越来越多地依赖可重用技能（Reusable skills）：即结合了指令、控制流、约束条件和工具调用的能力包。然而，在当前的智能体系统中，技能仍由重文本的伪影（Text-heavy artifacts）来表示——主要是 SKILL.md 样式的文档，其机器可用的证据很大程度上仍然嵌入在自然语言描述中。

因此，以技能为中心的智能体系统面临着一个表示问题：无论是在智能体执行期间管理技能集合还是使用技能，都需要对调用接口、执行结构和具体的副作用进行推理，但这些信号往往纠缠在单一的文本表层中。因此，对技能知识进行显式表示，可能有助于使这些伪影更易于被机器获取和利用。

借鉴 Schank 和 Abelson 关于认知语言学表示的经典著作中的记忆组织包（Memory Organization Packets）、剧本理论（Script Theory）和概念依赖（Conceptual Dependency），我们引入了（据我们所知）首个针对智能体技能伪影的结构化表示——SSL（Scheduling-Structural-Logical，即调度-结构-逻辑）表示。它将技能层的调度信号、场景层的执行结构以及逻辑层的动作/资源使用证据进行了解耦。

我们使用基于 LLM 的规范化器（Normalizer）对 SSL 进行了实例化，并在技能发现（Skill Discovery）和风险评估（Risk Assessment）两个任务中对基于 SSL 推导的表示进行了评估。实验表明，SSL 显著优于纯文本基线：

• 在技能发现中，MRR@50 从 0.649 提升至 0.729；

• 在风险评估中，Macro F1 从 0.409 提升至 0.509。

这些发现表明，显式的、基于源（Source-grounded）的结构可以使智能体技能更易于搜索和审查。这使得 SSL 成为迈向更具可检查性、可重用性和操作可行性的技能表示的切实一步，而非一个终极标准或端到端的技能管理机制。

原文链接：https://arxiv.org/abs/2604.24026

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

From Skills to Talent: OrganisingHeterogeneous Agents asaReal-World Company

Summary

通过模块化技能与工具集成，单个智能体的能力已经取得了突飞猛进的发展，然而多智能体系统（MAS）仍受限于固定的团队结构、紧耦合的协同逻辑以及受限于会话周期的学习方式。我们认为，这反映了一个更深层次的缺失：缺乏一个原则性的组织层（Organisational layer）。该层应当能够解耦于单个智能体所掌握的知识，去管理智能体员工队伍随时间推移如何组装、治理以及改进。

为了填补这一空白，我们引入了 OneManCompany（简称 OMC），这是一个将多智能体系统提升至组织层面的框架。OMC 将技能、工具和运行时配置封装到名为 Talents（人才） 的可移植智能体身份中，并通过类型化的组织接口进行编排，从而对异构后端进行了抽象。一个社区驱动的 Talent Market（人才市场） 实现了按需招聘，使组织能够在执行过程中动态地弥补能力差距并重新配置自身。

组织的决策过程通过“探索-执行-评审”（Explore-Execute-Review，简称 E2R）树搜索来实现操纵。该搜索将规划、执行和评估统一在一个单一的分层循环中：任务被自顶向下分解为可追责的单元，而执行结果则自底向上聚合，以驱动系统性的评审与优化。该循环在镜像人类企业反馈机制的同时，还为终止性（Termination）和无死锁（Deadlock freedom）提供了形式化保证。

综合来看，这些贡献将多智能体系统从静态、预配置的管道，转变为能够适应不同领域开放式任务的自组织且自改进的 AI 组织。在 PRDBench 上的实证评估表明，OMC 实现了 84.67% 的成功率，超越了现有最先进技术（SOTA）15.48 个百分点；跨领域的案例研究进一步证明了其通用性。

原文链接：https://arxiv.org/abs/2604.22446

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses

Summary

测试基准环境（Harnesses）目前已成为决定编码智能体（Coding-agent）性能的核心因素，它介导了模型与工具及执行环境之间的交互方式。然而，“基准环境工程”（Harness engineering）目前仍停留在手工制作阶段，因为实现其自动化面临着诸多挑战：可编辑组件之间存在异构的动作空间、海量的运行轨迹（Trajectories）掩埋了具有操作价值的信号、以及改动所产生的效果难以归因。

为此，我们引入了智能体化基准环境工程（Agentic Harness Engineering，简称 AHE）。这是一个闭环系统，通过三个相匹配的可观测性支柱（Observability pillars）来解决上述挑战：

1. 组件可观测性：为每个可编辑的基准环境组件提供文件级的表示，从而使动作空间显式化且可回滚；

2. 体验可观测性：将数百万个原始轨迹 Token 提炼为一个分层的、可逐级下钻的证据语料库，使处于演化中的智能体能够实际消费（利用）这些数据；

3. 决策可观测性：将每次改动与智能体自声明的预测进行配对，随后根据下一轮的任务级结果进行验证。

这三大支柱共同将每次改动转化为一份可证伪的契约（Falsifiable contract），从而使基准环境的演化能够自主进行，而不会陷入盲目的试错。

实证结果表明，经过 10 次 AHE 迭代后，模型在 Terminal-Bench 2 上的 pass@1 指标从 69.7% 提升至 77.0%，超越了人类设计的基准环境 Codex-CLI（71.9%）以及自我演化的基线模型 ACE 和 TF-GRPO。此外，固化后的基准环境无需重新演化即可进行迁移：

• 在 SWE-bench-verified 上，它取得了最高的综合成功率，且消耗的 Token 比初始版本（Seed）减少了 12%；

• 在 Terminal-Bench 2 上，它在三个不同的交替模型家族中带来了 +5.1 到 +10.1 个百分点的跨家族性能提升。这表明演化后的组件编码的是通用的工程经验，而非针对特定基准的微调。

消融实验表明，性能提升主要归功于工具、中间件和长期记忆的优化，而非系统提示词（System prompt）。这表明基准环境的事实性结构是可以迁移的，而散文级的提示词策略则无法迁移。

原文链接：https://arxiv.org/abs/2604.25850