Seventy3

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Agentic Systems as Boosting Weak Reasoning Models

Summary

一个由弱推理模型调用组成的委员会，能否达到更强模型的性能？我们将“基于验证器支持的委员会搜索”（verifier-backed committee search）作为推理语言模型在推理阶段的提升机制（inference-time boosting）进行了研究。

这一机制并非简单地依靠“智能体越多越好”：样本能够暴露潜在的正确解决方案，而批评器（critics）和比较器（comparators）必须在无法访问隐藏验证器的情况下恢复这些方案。我们通过将该视角拆分为：提案覆盖率（proposal coverage）、局部可识别性（local identifiability）、进展（progress）和多样性（diversity），从而将其公式化。我们证明了通过重复采样可以放大覆盖率，但采样本身无法创建有效的批评器或比较器；可靠的性能放大需要额外的局部正确性信号（local soundness signal），例如执行、证明检查、类型检查、测试或约束求解。我们给出了基于排名的边界，展示了局部选择错误在何时会组合成可靠的轨迹，并刻画了提案侧的天花板：预知（oracle）最高期望值 best-of-k 仅收敛于提案系统分配了非零有用概率的任务切片总量。

在实验中，在 SWE-bench Verified 基准测试上，单次 GPT-5.4 nano 提案可以解决 67.0% 的任务。使用相同的 nano 模型，我们的“批评器-比较器”编排机制在 k=8 次提案中达到了 76.4% 的准确率，追平了 Gemini 3 Pro 和 Claude Opus 4.5 Thinking 的独立表现，并逼近了 79.0% 的预知（oracle）best-of-8 上限。

因此，许多正确的补丁（patches）已经存在于弱模型的提案池中，主要的挑战在于如何将它们筛选出来。而剩余的失败案例则大多属于提案覆盖率失败，这表明存在着仅靠更强选择机制也无法弥补的共同盲区。

原文链接：https://arxiv.org/abs/2605.14163

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

Summary

迈向递归自我提升，我们研究了 LLM 智能体在超越标准 Transformer 的范畴下，自主设计基础模型的能力。我们提出了一种双框架方法：用于高层架构搜索的 AIRA-Compose，以及用于底层机制实现的 AIRA-Design。

AIRA-Compose 动用了 11 个智能体，在 24 小时的预算限制下探索基础计算原语。智能体们对百万参数级的候选模型进行评估，并将最优的设计外推至 3.5 亿（350M）、10 亿（1B）和 30 亿（3B）参数规模。这催生了涵盖两个家族的 14 种架构：AIRAformers（基于 Transformer）和 AIRAhybrids（Transformer-Mamba 混合型）。在 1B 规模下进行预训练后，这些模型始终优于 Llama 3.2 和由 Composer 搜索到的基线模型。在下游任务上，AIRAformer-D 和 AIRAhybrid-D 相比 Llama 3.2 分别将准确率提升了 2.4% 和 3.8%。此外，AIRA-Compose 还发现了一些具备极高扩展效率前沿（scaling frontiers）的模型：AIRAformer-C 的扩展速度比 Llama 3.2 和 Composer 最好的 Transformer 分别快 54% 和 71%，而 AIRAhybrid-C 的扩展速度则比 Nemotron-2 快 23%，比 Composer 最好的混合架构快 37%。

AIRA-Design 则指派了 20 个智能体来编写用于处理长距离依赖的新颖注意力机制，以及高性能的训练脚本。在长程竞技场（Long Range Arena）基准测试中，智能体设计的架构在文档匹配和文本分类任务上，与人类最先进水平（SOTA）的差距分别缩小到了 2.3% 和 2.6% 以内。在 Autoresearch 基准测试中，Greedy Opus 4.5 在固定时间预算下达到了 0.968 的验证位/字节（bits-per-byte），超越了已发表的最低值。

这些框架共同表明，AI 智能体能够自主发现与手工设计基线相媲美甚至超越的架构和算法优化。这为探索下一代基础模型确立了一种强大的范式，标志着向递归自我提升迈出了切实的一步。

原文链接：https://arxiv.org/abs/2605.15871

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

MEMO: Memory as a Model

Summary

大型语言模型（LLMs）在广泛的任务中都取得了强大的性能，但在预训练之后、进行后续更新之前，它们始终保持着冻结状态。许多现实世界的应用都需要及时、特定领域的非公开/特定信息，这激发了对高效整合新知识机制的需求。

在本文中，我们引入了 MeMo（模型即内存，Memory as a Model），这是一个模块化框架，它将新知识编码到一个专用的记忆模型中，同时保持 LLM 的参数不变。与现有方法相比，MeMo 具有以下几个优势：

• (a) 它能够捕获复杂的跨文档关系；

• (b) 它对检索噪声具有鲁棒性；

• (c) 它避免了 LLM 中的灾难性遗忘；

• (d) 它不需要访问 LLM 的权重或输出对数几率（logits），从而实现了与开源和专有闭源 LLM 的即插即用集成；

• (e) 在推理时，其检索成本与语料库大小无关。

我们在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 三个基准测试上的实验结果表明，在各种不同的设置下，MeMo 与现有方法相比均取得了强劲的性能表现。

原文链接：https://arxiv.org/abs/2605.15156

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Code as Agent Harness

Summary

最近的大型语言模型（LLMs）在代码理解和生成方面展现出了强大的能力，涵盖了从竞赛编程到仓库级软件工程的广泛领域。在蓬勃发展的智能体（agentic）系统中，代码不再仅仅是一种目标输出，它正越来越多地扮演着智能体推理、行动、环境建模以及基于执行的验证的操作基底。我们从智能体装备（agent harnesses）的角度来界定这一转变，并引入了“代码即智能体装备”（code as agent harness）的概念：这是一种将代码视为智能体基础设施核心的统一视角。

为了系统地研究这一观点，我们围绕三个相互关联的层级展开本次综述。首先，我们研究装备接口，即代码如何将智能体与推理、行动和环境建模连接起来。其次，我们探讨装备机制：用于长周期执行的规划、记忆和工具使用，以及使装备更具可靠性和自适应性的反馈驱动控制与优化。第三，我们讨论如何将装备从单智能体系统扩展到多智能体环境，其中共享的代码产物能够支持多智能体的协同、审查和验证。

在这三个层级之上，我们总结了“代码即智能体装备”的代表性方法和实际应用，涵盖了编码助手、GUI/操作系统自动化、具身智能体、科学发现、个性化与推荐、DevOps 以及企业工作流。我们进一步概述了装备工程面临的开放性挑战，包括最终任务成功率之外的评估、不完全反馈下的验证、无回归的装备改进、跨多智能体的一致共享状态、针对安全关键型行动的人类监管，以及向多模态环境的扩展。

通过将代码作为智能体 AI 的装备，“代码即智能体装备”这一综述为迈向可执行、可验证且具备状态记忆的 AI 智能体系统提供了一条统一的路线图。

原文链接：https://arxiv.org/abs/2605.18747

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

AI co-mathematician: Accelerating mathematicians with agentic AI

Summary

我们引入了“AI 联合数学家”（AI co-mathematician）——这是一个供数学家使用的工具平台，旨在通过交互方式利用 AI 智能体来开展开放式研究。

该系统经过优化，能够为数学工作流程中充满探索性和迭代性的现实需求提供全方位支持，包括构思、文献检索、计算探索、定理证明以及理论构建。通过提供一个能够管理不确定性、细化用户意图、追踪失败假设并输出原生数学成果的异步且具备状态记忆的工作空间，该系统模拟了人类的协同工作流程。

在早期测试中，“AI 联合数学家”协助研究人员解决了开放性问题，发现了新的研究方向，并找出了被忽略的文献参考。除了展示出一种用于 AI 辅助数学发现的高交互性范式外，“AI 联合数学家”在硬核问题解决基准测试中也取得了当前最佳（SOTA）的成绩，其中包括在 FrontierMath Tier 4 中获得了 48% 的评分，创下了所有受评估 AI 系统中的新最高纪录。

原文链接：https://arxiv.org/abs/2605.06651

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling

Summary

测试时扩展（Test-time scaling, TTS）已成为通过在推理期间分配额外计算来提高大语言模型性能的有效方法。然而，现有的 TTS 策略很大程度上是手工设计的：研究人员往往凭直觉手动设计推理模式并调整启发式规则，导致大部分计算分配空间未被探索。

我们提出了一种环境驱动的框架 AutoTTS，它改变了研究人员的设计范式：从设计单个 TTS 启发式规则，转变为设计能够自动发现 TTS 策略的环境。

AutoTTS 的核心在于环境构建：发现环境必须使控制空间易于处理（tractable），并为 TTS 搜索提供低成本且高频的反馈。

• 具体实例化：我们将“宽度-深度”TTS 公式化为基于预先收集的推理轨迹和探测信号的控制器合成（controller synthesis）。在此框架下，控制器可以决定何时进行分支、继续、探测、剪枝或停止，并且可以在无需重复调用 LLM 的情况下进行低成本评估。

• 效率优化：我们进一步引入了 beta 参数化以使搜索更易于处理，并引入了细粒度的执行轨迹反馈，通过帮助智能体诊断 TTS 程序失败的原因来提高发现效率。

在数学推理基准测试上的实验表明，与强大的手工设计基线相比，自动发现的策略提升了整体的“准确率-成本”权衡（accuracy-cost tradeoff）。此外，这些策略还可以泛化到留出（held-out）的基准测试和不同的模型规模上，而整个发现过程仅需 39.9 美元和 160 分钟。

原文链接：https://arxiv.org/abs/2605.08083

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Life Beyond Individual Intelligence: Survey-ing Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems

Summary

基于大语言模型（LLM）的自主智能体在推理、规划和工具使用方面已经展现出了强大的能力，但在任务需要跨角色、工具和环境进行持续协同（coordination）时，它们依然受到限制。

多智能体系统通过在专业化智能体之间进行结构化协作来解决这一问题，但更紧密的协同同时也放大了一个较少被探索的风险：错误可能会在不同的智能体和交互轮次之间传播，导致难以诊断的故障，并且这些故障极少能转化为结构性的自我改进。现有的综述大多分别探讨单个智能体的能力、多智能体协作或智能体自我演化，而忽略了它们之间的因果依赖关系。

本综述提供了一个统一的视角，围绕四个具有因果关联的阶段展开，我们将其称为 LIFE 渐进模型（LIFE progression）：

• Lay the capability foundation（奠定能力基础）

• Integrate agents through collaboration（通过协作整合智能体）

• Find faults through attribution（通过归因查找故障）

• Evolve through autonomous self-improvement（通过自主自我改进进行演化）

针对每个阶段，我们提供了系统的分类法，并形式化地刻画了相邻阶段之间的依赖关系，揭示了每个阶段是如何既依赖于前一阶段又制约着后一阶段的。

除了对现有工作进行系统梳理外，我们还指出了阶段边界处的开放式挑战，并为闭环多智能体系统提出了一个跨阶段的研究议程。该系统能够持续诊断故障、重组结构并精细调整智能体行为，从而将当前的协同框架扩展为更具自组织形式的集体智能。

通过连接这些此前碎片化的研究主线，本综述旨在为迈向自主、自我改进的多智能体智能提供系统性的参考和概念路线图。

原文链接：https://arxiv.org/abs/2605.14892

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

δ-mem: Efficient Online Memory for Large Language Models

Summary

大语言模型在长期助手和智能体系统中越来越需要积累和复用历史信息。仅仅扩展上下文窗口成本高昂，且往往无法保证有效的上下文利用率。

我们提出了 δ-mem，这是一种轻量级的记忆机制，它通过一个紧凑的联想记忆在线状态（online state of associative memory），来增强被冻结的全注意力主干网络（frozen full-attention backbone）。δ-mem 将过去的信息压缩进一个固定大小的状态矩阵中，该矩阵通过 δ 规则学习（delta-rule learning，即增量规则学习）进行更新，并在生成过程中利用其读取结果对主干网络的注意力计算生成低秩修正（low-rank corrections）。

仅凭一个 8×8 的在线记忆状态，δ-mem 展现出了出色的表现：

• 能够将平均得分提高到冻结主干网络的 1.10 倍。

• 能够达到最强非 δ-mem 记忆基线的 1.15 倍。

• 在高记忆负荷的基准测试中实现了更大的提升，在 MemoryAgentBench 上达到 1.31 倍，在 LoCoMo 上达到 1.20 倍，同时在很大程度上保留了模型的通用能力。

这些结果表明，无需全量微调、更换主干网络或显式扩展上下文，仅通过与注意力计算直接耦合的紧凑在线状态，即可实现有效的记忆机制。

原文链接：https://arxiv.org/abs/2605.12357

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Arithmetic in the Wild: Llama uses Base-10 Addition to Reason About Cyclic Concepts

Summary

表征中的结构是否意味着计算中的结构？

我们研究了 Llama-3.1-8B 如何在循环概念（cyclic concepts，例如“八月之后六个月是哪个月？”）上进行推理。

尽管 Llama-3.1-8B 对这些概念的表征在空间上呈现出循环结构，但我们发现，该模型并没有直接在循环概念的周期内（例如月份的周期为 12）计算模加法（modular addition）。相反，它跨任务复用了一种通用的加法机制，其运行完全独立于特定概念的几何结构：

1. 十进制求和：它首先使用标准的十进制（基数 10）加法计算两个输入的和（例如：6 + 8（八月）= 14）。

2. 空间映射：然后，它将这个计算结果映射回循环概念空间（例如：14 -> 二月）。

我们表明，Llama-3.1-8B 使用任务无关的傅里叶特征（Fourier features）来计算这些和。事实上，这些特征的周期遵循的是标准的十进制加法规律（例如 2、5 和 10），而不是循环概念本身的周期（例如月份的 12）。

此外，我们还在第 18 层 MLP 中确定了一组跨所有任务复用的稀疏神经元（共 28 个，约占该层 MLP 的 0.2%）。这组神经元可以被划分为若干互不相交的簇（clusters），每个簇各自负责计算一个具有不同周期的傅里叶特征之和。

我们的工作强调了因果抽象（causal abstraction）与特征几何（feature geometry）之间的相互作用，如何能够深化我们对语言模型（LMs）的机理理解（mechanistic understanding）。

原文链接：https://arxiv.org/abs/2605.01148

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Is Grep All You Need? How Agent Harnesses Reshape Agentic Search

Summary

大语言模型（LLM）智能体的最新进展已经实现了复杂的智能体工作流（agentic workflows），模型能够自主检索信息、调用工具并在大规模语料库上进行推理，从而代表用户完成任务。

尽管检索增强生成（RAG）在智能体搜索系统中的应用日益广泛，但现有文献仍缺乏对检索策略选择如何与智能体架构及工具调用范式相互作用的系统性比较。一些重要的实践维度在智能体循环（agent loops）中仍未得到充分探索，例如：如何向模型呈现工具输出，以及当检索必须应对更多无关的上下文文本时，性能会发生怎样的变化。

本文报告了一项包含两个实验的实证研究：

• 实验 1：在来自 LongMemEval 的 116 个问题样本上对比了 grep 检索和向量检索。该实验使用了一个自定义智能体测试框架（Chronos）和厂商原生的 CLI 测试框架（Claude Code、Codex 和 Gemini CLI），并同时针对“内联（inline）工具结果”和“由模型单独读取的基于文件的工具结果”进行了评估。

• 实验 2：对比了仅使用 grep 和仅使用向量的检索，同时在其中逐步混入额外的无关对话历史，以此让每个查询在包含核心相关段落的同时，也被嵌入到更多具有干扰性的材料中。

结论表明： 在实验 1 的对比中，无论是使用 Chronos 还是厂商的 CLI，grep 通常都比向量检索表现出更高的准确率；与此同时，即使底层对话数据完全相同，整体得分仍然强烈依赖于具体使用的测试框架和工具调用风格。

原文链接：https://arxiv.org/abs/2605.15184