Seventy3

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

Agent Primitives: Reusable Latent Building Blocks for Multi-Agent Systems

Summary

虽然现有的多智能体系统（MAS）能够通过协作处理复杂问题，但它们通常具有高度的任务特定性，依赖人工设计的角色和交互提示词，这导致了架构复杂度的增加以及任务间复用性的受限。此外，大多数 MAS 主要通过自然语言进行通信，使得它们在长上下文、多阶段的内部交互中容易受到错误累积和不稳定性的影响。

在本文中，我们提出了 Agent Primitives（智能体原语）——一套用于大模型多智能体系统的可复用潜分量构建模块。受神经网络设计的启发（即复杂模型由可复用组件构建），我们观察到许多现有的 MAS 架构可以分解为少数反复出现的内部计算模式。基于这一观察，我们实例化了三种原语：审查（Review）、投票与选择（Voting and Selection），以及规划与执行（Planning and Execution）。

所有原语内部均通过 键值缓存（KV Cache） 进行通信，通过减轻多阶段交互中的信息降解，提升了系统的鲁棒性与效率。为了实现系统的自动构建，组织者（Organizer） 智能体会在轻量级成功配置知识池的引导下，为每个查询选择并组合原语，从而形成基于原语的 MAS。

实验表明，与单智能体基准相比，基于原语的 MAS 将平均准确率提升了 12.0%–16.5%；与基于文本通信的 MAS 相比，其 Token 使用量和推理延迟降低了约 3 到 4 倍，而相对于单智能体推理仅增加了 1.3 到 1.6 倍的开销，并在不同骨干模型上提供了更稳定的表现。

原文链接：https://arxiv.org/abs/2602.03695

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces

Summary

前沿语言模型已展示出强大的推理和长时程工具使用能力。然而，现有的 RAG（检索增强生成）系统未能充分利用这些能力，仍依赖于两种范式：(1) 设计一种单次检索片段并将其拼接至模型输入的算法；(2) 预定义工作流并提示模型逐步执行。这两种范式都无法让模型参与检索决策，从而阻碍了随模型性能提升而实现的高效扩展。

在本文中，我们推出了 A-RAG，这是一个直接向模型开放层级检索接口的智能体 RAG 框架。A-RAG 提供了三种检索工具：关键词搜索、语义搜索和块读取，使智能体能够跨多个粒度自适应地搜索和检索信息。

在多个开放域问答基准测试中的实验表明，A-RAG 在使用相同或更少检索 Token 的情况下，表现始终优于现有方法，证明其能有效利用模型能力并动态适应不同的 RAG 任务。我们进一步系统研究了 A-RAG 如何随模型规模和推理时计算量进行扩展。我们将发布代码和评估套件以促进后续研究。

原文链接：https://arxiv.org/abs/2602.03442

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

InfMem: Learning System-2 Memory Control for Long-Context Agent

Summary

在超长文档上进行推理，要求在严格的内存限制下，综合分布在遥远段落中的稀疏证据。虽然流式智能体（Streaming Agents）能够实现可扩展的处理，但其被动的记忆更新策略往往无法保留多跳推理所需的低显著性桥接证据。

我们提出了 InfMem，这是一种以控制为中心的智能体，通过“预思考-检索-写入”（PreThink-Retrieve-Write）协议实例化了 System-2 式的控制。InfMem 主动监测证据的充分性，执行针对性的文档内检索，并应用证据感知的联合压缩来更新有限的记忆。为了确保控制的可靠性，我们引入了一种实用的“从 SFT 到 RL”的训练方案，使检索、写入和停止决策与最终任务的正确性相对齐。

在 32k 到 1M Token 的超长文本问答基准测试中，InfMem 在不同骨干模型上的表现始终优于 MemAgent。具体而言，InfMem 在 Qwen3-1.7B、Qwen3-4B 和 Qwen2.5-7B 上分别将平均绝对准确率提升了 10.17、11.84 和 8.23 个百分点，同时通过自适应提前停止机制，将推理时间平均缩短了 3.9 倍（最高达 5.1 倍）。

原文链接：https://arxiv.org/abs/2602.02704

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

Scaling Small Agents Through Strategy Auctions

Summary

小语言模型正日益被视为实现智能体 AI（Agentic AI）的一种极具前景且成本效益高的方法，支持者认为它们足以胜任智能体工作流。然而，虽然小型智能体在简单任务上能与大型智能体平分秋色，但目前尚不清楚其性能如何随任务复杂度的增加而变化、何时必须使用大模型，以及如何更好地利用小型智能体处理长时程工作负载。

在本研究中，我们通过实证展示了小型智能体在深度搜索和编程任务上的性能无法随任务复杂度同步提升。为此，我们引入了 SALE（基于工作负载效率的策略拍卖），这是一个受自由职业者市场启发的智能体框架。在 SALE 中，智能体通过简短的战略计划进行投标，这些计划由系统的“成本-价值”机制评分，并通过共享的拍卖记忆进行完善，从而实现逐任务路由（Per-task Routing）和持续自我改进，而无需训练专门的路由模型或运行所有模型直至结束。

在不同复杂度的深度搜索和编程任务中，SALE 将对最大智能体的依赖降低了 53%，总成本降低了 35%，并始终优于最大智能体的 Pass@1 表现，且除执行最终轨迹外，其开销几乎可以忽略不计。相比之下，现有的依赖任务描述的路由器要么性能不如最大智能体，要么无法降低成本（通常两者兼有），凸显了它们与智能体工作流的适配性极差。

这些结果表明，虽然小型智能体可能不足以独立处理复杂负载，但可以通过协调的任务分配和推理时（Test-time）自我改进来有效“扩展”。更广泛地说，这激发了对智能体 AI 的系统级视角：性能提升不再仅仅源于不断增大的单个模型，而是更多地源于受市场启发的协调机制，将异构智能体组织成高效、自适应的生态系统。

原文链接：https://arxiv.org/abs/2602.02751

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

Summary

智能体记忆系统通常采用标准的检索增强生成（RAG）流水线，但其底层假设在此场景下已发生变化。RAG 针对的是大型异构语料库，检索到的片段具有多样性；而智能体记忆是一个有界的、连贯的对话流，其中高度相关的跨度往往是重复的。在这种转变下，固定的 Top-k 相似度检索容易返回冗余上下文，而事后修剪可能会删除正确推理所需的、具有时间连续性的先决条件。

我们认为，检索应当超越相似度匹配，转而在潜分量（Latent Components）上运行，遵循“解耦到聚合”的逻辑：将记忆拆解为语义分量，将其组织成层级结构，并利用该结构驱动检索。

我们提出了 xMemory，它构建了一个完整单元的层级结构，并通过“稀疏性-语义”目标函数引导记忆的拆分与合并，从而维持一个可搜索且忠实的高层节点组织。在推理阶段，xMemory 执行自顶向下的检索，为多事实查询选择精简且多样的主题与语义，并仅在能降低阅读器不确定性时才扩展至具体的片段（Episodes）和原始消息。在 LoCoMo 和 PerLTQA 基准测试中，针对三种最新大语言模型的实验表明，该方法在答案质量和 Token 效率上均有显著提升。

原文链接：https://arxiv.org/abs/2602.02007

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

Learning to Reason in 13 Parameters

Summary

最近的研究表明，语言模型可以通过强化学习（RL）学会“推理”。虽然部分研究采用低秩参数化来实现推理能力，但传统的 LoRA 无法将秩降低到模型维度以下。

我们质疑：即便秩为 1（Rank=1）的 LoRA 是否也是学习推理所必需的？为此，我们提出了 TinyLoRA。这是一种能将低秩适配器（Adapters）缩减至仅有一个参数规模的方法。

在这一全新的参数化框架下，我们仅通过训练 13 个 bf16 格式的参数（总计 26 字节），就能使 8B 规模的 Qwen2.5 模型在 GSM8K 测试集上达到 91% 的准确率。我们发现这一趋势具有普适性：在 AIME、AMC 和 MATH500 等一系列更具挑战性的“学习推理”基准测试中，我们仅需训练少 1000 倍的参数，即可恢复 90% 的性能提升。

值得注意的是，这种极强的性能表现仅能通过强化学习（RL）实现：使用有监督微调（SFT）训练的模型，若要达到相同的性能水平，所需的参数更新量要比前者大 100 到 1000 倍。

原文链接：https://arxiv.org/abs/2602.04118

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

Semi-Autonomous Mathematics Discovery with Gemini: A Case Study on the Erdős Problems

Summary

我们展示了一项关于半自动数学发现的案例研究，利用 Gemini 对 Bloom 的“埃尔多斯问题”（Erdős Problems）数据库中 700 个标记为“未解决”（Open）的猜想进行了系统评估。我们采用了混合方法论：首先通过 AI 驱动的自然语言验证来缩小搜索空间，随后由人类专家评估其正确性与新颖性。

我们处理了数据库中标记为“未解决”的 13 个问题：其中 5 个通过看似新颖的自主解法完成，另外 8 个则通过识别现有文献中的既有解法完成。我们的研究结果表明，这些问题的“未解决”状态更多是因为其冷僻程度而非难度。

此外，我们还识别并讨论了在大规模应用 AI 处理数学猜想时出现的问题，重点指出了文献检索的困难以及 AI 存在“潜意识剽窃”的风险。最后，我们对 AI 辅助攻克埃尔多斯问题的经验教训进行了反思。

原文链接：https://arxiv.org/abs/2601.22401

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Self-Improving Pretraining: using post-trained models to pretrain better models

Summary

确保大语言模型生成内容的安全性、事实性及整体质量是一项严峻挑战，尤其是在这些模型日益广泛应用于现实场景的背景下。目前解决这些问题的主流方法是收集昂贵且精心策划的数据集，并进行多阶段的微调与对齐。然而，即便采用如此复杂的流程，也无法保证能彻底纠正模型在预训练阶段习得的模式。

因此，在预训练阶段解决这些问题至关重要，因为预训练塑造了模型的核心行为，并能从源头上防止不安全或幻觉输出的根深蒂固。为了应对这一挑战，我们提出了一种全新的预训练方法：通过流式处理文档，并利用强化学习（RL）在每一步优化后续生成的 K 个 Token。

该方法引入一个强大的后验模型，对包括模型预测序列（Rollouts）、原始后缀及重写后缀在内的候选生成内容进行评分，评估其质量、安全性与事实性。在训练初期，该过程依赖于原始和重写的后缀；随着模型能力的提升，强化学习将奖励高质量的模型预测序列。这种方法从底层构建了更高质量、更安全且更具事实性的模型。

实验表明，与标准预训练相比，我们的方法在事实性和安全性方面分别带来了 36.2% 和 18.5% 的相对提升，在整体生成质量的胜率上最高提升了 86.3%。

原文链接：https://arxiv.org/abs/2601.21343

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Reinforcement Learning via Self-Distillation

Summary

大型语言模型越来越多地在可验证领域（如代码与数学）中通过强化学习后训练。然而，当前用于具有可验证奖励的强化学习（RLVR）的方法通常只从每次尝试得到的单一标量结果奖励中学习，从而造成了严重的信用分配（credit assignment）瓶颈。事实上，许多可验证环境能够提供丰富的文本反馈，例如运行时错误信息或评测器（judge）的评估，这些反馈可以解释一次尝试为何失败。我们将这一设定形式化为具有丰富反馈的强化学习（reinforcement learning with rich feedback），并提出 Self-Distillation Policy Optimization（SDPO）。该方法能够在无需外部教师模型或显式奖励模型的情况下，将token 化的反馈转化为密集的学习信号。SDPO 将当前模型在给定反馈条件下的输出视为一种自教师（self-teacher），并把其基于反馈生成的下一 token 预测蒸馏回策略模型中。通过这种方式，SDPO 利用模型在上下文中事后识别自身错误的能力来进行学习。在科学推理、工具使用以及 LiveCodeBench v6 上的竞赛编程任务中，SDPO 相较于强基线 RLVR 方法，在样本效率和最终准确率方面均取得了提升。值得注意的是，在仅返回标量反馈的标准 RLVR 环境中，SDPO 仍然优于基线方法，因为它能够利用成功的 rollout 作为对失败尝试的隐式反馈。最后，当在测试时对单个问题应用 SDPO时，该方法还能加速在困难的二值奖励任务中的解发现过程：与 best-of-k 采样 或 多轮对话策略相比，SDPO 仅需 约三分之一的尝试次数就能达到相同的解发现概率。

原文链接：https://arxiv.org/abs/2601.20802

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents

Summary

VIBETENSOR 是一个用于深度学习的开源研究型系统软件栈，由 LLM 驱动的编程智能体在人类高层指导下生成。在本文中，“完全生成（fully generated）”指的是代码来源：实现变更由智能体提出补丁（diff）并应用；验证则依赖智能体执行的构建、测试以及差异检查，而不是对每一次变更进行人工逐条审查。

该系统实现了一个 类 PyTorch 的即时执行（eager）张量库：核心使用 C++20（CPU + CUDA） 实现，并通过 nanobind 提供一个 类似 torch 的 Python 封装层，同时还包含一个实验性的 HTTP URL 接口。不同于仅提供薄封装（thin bindings）的方案，VIBETENSOR 还包含：

• 自有的 tensor / storage 系统
• schema-lite 调度器（dispatcher）
• 反向模式自动求导（reverse-mode autograd）
• CUDA 运行时组件（streams / events / graphs）
• 一个按 stream 顺序工作的缓存分配器，并带有诊断功能
• 一个稳定的 C ABI，用于动态加载算子插件

我们将这一发布视为 AI 辅助软件工程的一个里程碑：它表明编程智能体能够生成一个结构连贯的深度学习运行时系统，其范围从语言绑定一直延伸到 CUDA 内存管理，并主要通过构建和测试完成验证。

本文介绍了系统架构，总结了用于生成和验证该系统的工作流程，并对该工件进行了评估。我们报告了代码仓库规模与测试套件组成，并总结了来自一个AI 生成的内核套件的可复现微基准测试结果，其中包括 融合注意力（fused attention） 与 PyTorch 的 SDPA / FlashAttention 的对比。

此外，我们还报告了在 NVIDIA H100（Hopper，SM90） 与 Blackwell 级 GPU 上进行的三个小规模端到端训练任务的基本可行性测试（sequence reversal、ViT、miniGPT）。多 GPU 结果仅在 Blackwell 平台上提供，并使用一个可选的基于 CUTLASS 的 ring-allreduce 插件，该插件需要 CUDA 13+ 与 sm103a 工具链支持。

最后，我们讨论了在生成式系统软件中可能出现的失败模式，其中包括一种被称为 “Frankenstein 组合效应” 的问题：即多个在局部上正确的子系统组合在一起时，可能导致整体性能表现不佳。

原文链接：https://arxiv.org/abs/2601.16238