Seventy3

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Learn from your own latents and not from tokens: A sample-complexity theory

Summary

生成模型——从扩散模型（diffusion models）到大型语言模型（LLMs）——已经取得了卓越的性能，但代价是需要规模远超生物学习系统的数据进行训练，其训练数据量通常比生物学习者所需的数据高出数个数量级。

近年来，一种新的学习范式逐渐兴起：网络不再预测原始输入，而是预测自身对于相关视图（related views）或被遮蔽区域（masked regions）的潜在表示（latent representations），代表性方法包括 data2vec 和 JEPA（Joint Embedding Predictive Architecture）。这一思想也与神经科学中关于大脑皮层**预测编码（predictive coding）**的理论相呼应。

尽管这些方法已经取得了优异的实验效果，但其理论基础仍然缺乏充分理解。其中两个核心问题是：

1. 预测潜在表示究竟能够在多大程度上提升数据效率（data efficiency）？

2. 将这种潜在预测机制堆叠成多尺度层次结构（multi-scale hierarchies）是否能够进一步带来收益？

本文针对这两个问题给出了理论回答。

作者采用了一种**可解析的概率上下文无关文法（Probabilistic Context-Free Grammar，PCFG）**作为数据生成模型，以模拟自然语言和图像所具有的组合结构（compositional structure）。

在该模型中，数据的生成过程如下：

• 首先构造一个深度为 LL 的隐藏符号树（latent tree）；

• 然后递归应用文法产生式（production rules）；

• 最终生成由可观测 token 构成的字符串。

在这一数据模型下，作者证明：

• 无论是监督学习（supervised learning）还是基于 Token 的自监督学习（token-level self-supervised learning），若要恢复隐藏树结构，都需要**关于树深度 LL 指数增长（exponential in LL）**数量的训练样本。

• 相比之下，**潜在表示预测（latent prediction）仅需与树深度 LL 无关（constant in LL）**的样本数量（除去对数因子），即可恢复相同的隐藏结构。

这意味着，相对于传统监督学习和 Token 级自监督学习，潜在预测能够将样本复杂度从指数级降低到常数级（忽略对数项）。

作者进一步通过三方面验证了这一理论结果：

1. 层次聚类算法（hierarchical clustering algorithm）；

2. 一个端到端神经网络，其中每一层都包含预测器（predictor）和聚类器（clusterer）模块，并通过梯度下降不断预测自身的潜在表示，实现逐层的潜在预测；

3. 首次对 data2vec 的样本复杂度进行了理论分析，证明 data2vec 实际上隐式地（implicitly）执行了层次化潜在预测（hierarchical latent prediction）。

基于这些分析，作者进一步指出：

由于 data2vec 已经在内部实现了层次化的潜在预测，因此再显式地构建多层预测结构（例如 H-JEPA 这类层次化 JEPA 架构）所带来的额外收益其实非常有限，在很大程度上是**冗余（largely redundant）**的。

总体而言，本文从理论上解释了为什么预测潜在表示能够显著提高数据效率，并表明这种优势已经能够通过 data2vec 等方法自然实现，而无需额外设计复杂的层次化预测架构。

原文链接：https://arxiv.org/abs/2605.27734

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Learning Agent-Compatible Context Management for Long-Horizon Tasks

Summary

大语言模型（LLM）智能体在现实应用中越来越多地需要完成长时程任务（long-horizon tasks），例如网络搜索（web search）和深度研究（deep research）。然而，随着交互上下文不断累积，智能体容易出现**长上下文退化（long-context degradation）和推理能力下降（reasoning failures）**等问题。

现有工作通常通过**上下文管理（context management）来缓解这一问题，例如由智能体自身控制上下文，或采用固定策略（如摘要生成）对上下文进行压缩。然而，这些方法往往需要重新训练智能体以适应相应策略，因此对于闭源智能体（closed-source agents）**而言难以应用；同时，它们也忽略了不同智能体可能需要采用不同上下文管理策略这一事实。

为此，我们提出 Adaptive Context Management（AdaCoM）。AdaCoM 并不修改智能体本身，而是训练一个外部大语言模型（external LLM）作为上下文管理器，通过灵活的上下文修改操作（flexible modification actions）以及端到端强化学习（end-to-end reinforcement learning），为一个保持冻结（frozen）的智能体动态管理其上下文。

在多个不同智能体以及网络搜索和深度研究基准上的实验表明，AdaCoM 能够在**删除过时信息（pruning stale content）**的同时，尽可能保留任务约束（task constraints）和执行进度（task progress），从而显著提升智能体的整体性能。

进一步分析学习得到的上下文管理策略，我们发现了一种保真度—可靠性权衡（Fidelity–Reliability Trade-off）：

• 基础 ReAct 表现较强的智能体，更适合采用**高保真（higher-fidelity）**的上下文保留策略，即尽可能保留完整上下文，以维持其推理能力。

• 基础性能较弱的智能体，则需要采用更加激进的上下文压缩策略，以避免过长上下文导致推理失稳，使其始终保持在一个**可靠的推理工作区间（reliable reasoning regime）**内。

此外，我们还进行了跨智能体迁移实验（transfer experiments）。结果表明，AdaCoM 在能力水平相近（以原始 ReAct 性能为衡量标准）的智能体之间具有最佳的迁移效果。这说明，一个为某类智能体训练得到的上下文管理器，可以较容易地复用于能力相近的其他智能体。

这些结果表明，将上下文管理从智能体本身解耦出来，并通过一个可复用的外部上下文管理器进行学习和优化，是构建长时程智能体系统的一条切实可行的发展路径。

原文链接：https://arxiv.org/abs/2605.30785

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

AUTOLAB: Can Frontier Models Solve Long-Horizon Auto Research and Engineering Tasks?

Summary

科学研究和工程创新本质上都是一个长时程（long-horizon）的迭代优化过程：不断提出改进方案、开展实验、测量结果，并持续优化已有成果。然而，目前针对前沿大语言模型的基准测试主要关注单轮回答（single-turn responses）或短时程智能体轨迹（short-horizon agent trajectories），无法充分评估智能体在长时间尺度上持续迭代改进所面临的挑战。

为弥补这一空白，我们提出 AutoLab——一个面向**超长时程闭环优化（ultra long-horizon closed-loop optimization）**的新型基准测试。

AutoLab 包含 36 个由领域专家设计的真实任务，覆盖四类具有代表性的应用场景：

• 系统优化（system optimization）；

• 谜题与挑战（puzzle & challenge）；

• 模型开发（model development）；

• CUDA Kernel 优化（CUDA kernel optimization）。

每个任务都提供一个**功能正确但刻意设计得性能欠佳（correct but deliberately suboptimal）的初始版本，并要求智能体在严格限定的墙钟时间（wall-clock time）**预算内不断改进该方案。

我们对 17 个当前最先进的大语言模型进行了评测。实验结果表明，决定最终成功与否的最关键因素，并不是智能体第一次尝试的质量，而是在整个优化过程中持续进行基准测试（benchmarking）、修改方案（editing）以及根据实验反馈不断迭代（incorporating empirical feedback）的能力。

具体而言：

• Claude Opus 4.6 展现出了较强的长时程优化能力，能够持续推进任务并不断改进结果；

• 而大多数前沿模型（包括多个闭源商业模型）则表现出明显不足，要么过早停止优化（terminate prematurely），要么在几乎没有取得有效进展的情况下耗尽全部时间预算。

这些实验结果进一步说明，对于自主智能体而言，**时间意识（time awareness）以及持续迭代优化（persistent iteration）**是实现长期自主工作的关键能力，而不仅仅是生成一次高质量的初始解。

为了促进这一方向的发展，我们将 AutoLab 的完整内容全部开源，包括：

• 基准任务（benchmark）；

• 评测 Harness（evaluation harness）；

• 全部任务相关工件（task artifacts）。

希望借此推动能够真正胜任长时程自主优化任务的智能体研究。

原文链接：https://arxiv.org/abs/2606.05080

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Summary

智能体 Harness 通过控制工具使用、反馈机制、结果验证、记忆管理以及错误修复等环节，决定了大语言模型的实际性能。然而，传统的测试时计算开销（test-time compute）指标——例如 Token 数量、工具调用次数、运行时间（wall time）或计算成本——无法区分哪些反馈真正有助于任务完成，哪些只是冗余、无效或不稳定的交互。

我们提出 有效反馈计算（Effective Feedback Compute，EFC），作为一种基于执行轨迹（trace-level）的扩展指标，用于度量那些具有信息价值（informative）、有效（valid）、**非冗余（non-redundant）且能够被后续执行保留和利用（retained）**的反馈。

在此基础上，我们进一步提出了多个衍生指标，以适用于真实智能体运行轨迹和不同类型任务：

• Estimated-EFC：EFC 的估计版本；

• NRS-EFC：一种基于非冗余与稳定性（Non-Redundant Stable）原则构建的 EFC 指标；

• Harness 效率（Harness Efficiency，η）；

• 任务需求归一化（task-demand normalization），用于在不同复杂度任务之间进行公平比较。

我们在合成实验（synthetic）、真实数据（real）、**留出测试集（held-out）以及前瞻性实验（prospective evaluations）**中进行了全面评估。结果表明，以 EFC 为横轴建立的扩展规律，相比传统的原始计算量指标（raw compute）以及 SAS 指标，能够更准确地解释智能体性能。

具体而言：

• 在受控扩展实验中，采用 Oracle-EFC / Dtask（按任务需求归一化后的理想 EFC）作为尺度变量时，模型拟合优度达到 R² = 0.99；

• 在真实运行轨迹中，采用 NRS-EFC / Dtask 时，拟合优度仍达到 R² = 0.93；

• 相比之下，传统原始计算量指标与性能之间几乎不存在相关性，甚至出现负相关。

最后，我们提出的系统 \ours 将 EFC 作为现有 Harness 的一个**协同控制层（companion control layer）**进行集成。在相同实验设置下，该方法：

• 将平均任务通过率（pass rate）由 61.2% 提升至 68.2%；

• 同时将平均原始计算成本由 213.8 降低至 85.1。

这些结果表明，Harness 的有效扩展并不依赖于投入更多原始计算资源，而是依赖于能够持续保留、满足任务需求的高质量反馈（durable, task-sufficient feedback）。因此，相比单纯增加计算量，提升反馈质量与反馈利用效率才是推动智能体性能扩展的关键。

原文链接：https://arxiv.org/abs/2605.29682

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks

Summary

大型语言模型（LLMs）在**非形式化数学推理（informal mathematical reasoning）**方面已展现出较强能力，但在生成能够被 Lean 等形式化证明语言机械验证（mechanically verifiable）的证明时，仍然存在较大困难。

我们提出 LEAP，一个智能体化（agentic）的框架，使通用基础模型（general-purpose foundation models）能够在自动形式化定理证明（automated formal theorem proving）任务上达到当前最先进（state-of-the-art）的性能。

LEAP 充分利用了基础模型已有的能力，包括：

• 非形式化数学推理（informal reasoning）；

• 指令遵循（instruction following）；

• 迭代式自我改进（iterative self-refinement）。

通过将复杂证明任务拆解为多个较小的子问题，LEAP 在 Lean 编译器的持续交互反馈下，将形式化证明的构造过程与非形式化证明思路（informal blueprints）有效衔接，从而逐步完成形式化证明。

为了突破现有基准逐渐趋于饱和的问题，我们进一步提出了 Lean-IMO-Bench，一个由 Lean 形式化表示的国际数学奥林匹克（IMO）风格题目组成的新基准。该基准中的题目虽然题干较短，但证明过程高度非套路化（non-routine），通常包含多个推理步骤，并覆盖了广泛的难度范围，因此能够更严格地评估形式化证明能力。

实验结果表明，在 2025 年 Putnam 数学竞赛（北美本科生年度数学竞赛）上，LEAP 成功解决了全部 12 道题目，与近期前沿形式化数学模型取得的突破性成果相当。

在 Lean-IMO-Bench 上，LEAP 更显著提升了通用大语言模型的一次性形式化证明成功率（one-shot formal solve rate）：由不足 10% 提升至 70%，明显超过了此前由一个专门面向 IMO、达到金牌水平的系统所创造的 48% 基准成绩。

此外，我们还展示了 LEAP 在数学研究中的实际应用价值。该系统能够自主完成复杂证明的形式化工作，用于解决开放性的组合数学问题。其中包括为 Knuth 关于偶数阶 Cayley 图哈密顿分解（Hamiltonian decomposition of even-order Cayley graphs）中的一个关键子问题，自动构造并验证了一份形式化证明。

这些结果表明，LEAP 不仅显著提升了通用大语言模型的形式化证明能力，也展示了其作为数学研究辅助工具在前沿科研中的潜力。

原文链接：https://arxiv.org/abs/2606.03303

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents

Summary

大型语言模型（LLM）智能体正越来越多地以围绕可编辑外部 harness构建的系统形式部署。这些 harness 包括提示（prompts）、技能（skills）、记忆（memories）和工具（tools），它们无需修改模型参数即可影响任务执行过程。**Harness 自演化（harness self-evolution）**则通过利用执行过程中积累的证据，不断更新这些 harness，以实现智能体的持续适应。

然而，一个尚未明确的问题是：**模型自身的基础任务求解能力（base capability）是否能够预测其 Harness 自演化能力？**换言之，哪些模型能够生成有价值的 harness 更新，又有哪些模型能够真正从这些更新中获益？

我们将 Harness 自演化能力划分为两个方面进行分析：

1. Harness 更新能力（harness-updating）：即模型根据执行证据生成有价值、可长期保留的 harness 更新的能力。

2. Harness 受益能力（harness-benefit）：即模型在任务执行过程中利用更新后的 harness 提升自身表现的能力。

我们的分析得到两个主要发现。

首先，Harness 更新能力与模型基础能力几乎无关（flat in base capability）。来自不同能力层级的模型所生成的 harness 更新，带来的性能提升出乎意料地相近。例如，Qwen3.5-9B 所生成的 harness 更新，其效果与 Claude Opus 4.6 产生的更新几乎相当。

其次，Harness 受益能力与模型基础能力之间呈现非单调关系（non-monotonic）。具体而言：

• 弱能力层级（weak-tier）模型几乎无法从更新后的 harness 中获得明显收益；

• 中等能力层级（mid-tier）模型能够获得最大的性能提升；

• 强能力层级（strong-tier）模型虽然仍有收益，但提升幅度反而低于中等能力模型。

进一步分析表明，弱能力模型收益较低主要源于两种失效模式：

• 无法激活（activate）与当前任务相关的 harness 内容；

• 虽然成功激活了相关 harness，但无法忠实地遵循（follow faithfully）其中提供的指导。

这些发现表明，在构建具备 Harness 自演化能力的智能体时，计算和能力预算更应优先投入到负责任务求解的智能体本身，而不是负责生成 harness 更新的演化器（evolver）。与此同时，在智能体训练过程中，应重点提升其Harness 调用能力（harness invocation）以及长时程指令遵循能力（long-horizon instruction following）。

原文链接：https://arxiv.org/abs/2605.30621

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Summary

科学发现不仅仅是生成答案，更是在证据（evidence）、研究对象（artifacts）、**操作（operations）和验证器（verifiers）所属类型体系（representational regime）上的修订。本文提出了一种面向材料科学智能体发现（agentic discovery）的范畴论（category theory）**框架。

在一个固定的表示体系 bb 中，其模式范畴（schema category）记为 SbSb​。系统状态表示为一个余预层（copresheaf）It:Sb→Set,而其溯源信息（provenance）则由元素范畴（category of elements）∫SbIt来表示。

在固定表示体系下，系统运行表现为对此类状态的更新。只有当能够明确指定并保持**保留溯源（provenance-preserving）的细化过程时，这种更新才能被视为一个自函子（endofunctorial）**操作。

相比之下，科学发现对应的是一个经过验证的表示体系转换 u:Sb→Sb′, 即从旧表示体系迁移到新的表示体系。在这一过程中，已有研究对象不会被丢弃，而是通过左 Kan 扩张（left Kan extension）LanuIt 被映射到新的表示体系中；随后，再将该迁移结果与转换后的实际系统状态进行比较，从而识别出那些无法仅通过函子式迁移（functorial transport）解释的剩余信息（residual content）。这一框架无需依赖主观意义上的“新颖性”，即可清晰地区分检索（retrieval）、**搜索（search）与科学发现（discovery）**三者。

我们将这一理论框架具体应用于两个系统。

第一个系统是 Builder/Breaker。在该系统中，一个蛋白质力学世界模型（protein-mechanics world model）在**最小描述长度（Minimum Description Length，MDL）准则的约束下进行修订。最终接受的新规律指出：链内柔性（within-chain flexibility）可以表示为由缓慢集体模态（slow collective modes）参与程度所决定的全模态弹性顺应性（all-mode elastic compliance），即一种模态条件顺应性（mode-conditioned compliance）**模型。

第二个系统是 CategoryScienceClaw。在该系统中，类型化技能（typed skills）、研究对象（artifacts）、开放问题（open needs）、工作流变异（workflow mutation）、评估门控（gates）、压力测试（stress tests）以及公开讨论（public discourse）共同构成了一个具有证明携带能力（proof-carrying）的知识—计算图（knowledge-computation graph）。

文中以一个纤维网络（fiber network）案例进行了说明：整个知识图完整记录了候选模型、被拒绝的替代方案、基于 AIC（Akaike Information Criterion，赤池信息准则） 的模型选择门控、扰动实验（perturbation tests），以及最终被接受的模型——一种以各向同性纤维数量描述符（isotropic fiber-count descriptor）为基础、结合取向张量（orientation tensor）的各向异性刚度代理模型（anisotropic stiffness surrogate）。

这两个案例共同表明，范畴论不仅能够作为描述科学发现过程的数学语言，也能够作为构建具备自我修订能力的 AI 科学发现系统的工程规范。

原文链接：https://arxiv.org/abs/2606.01444

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Fully Homomorphic Encryption on Llama 3 model for privacy preserving LLM inference

Summary

生成式人工智能（Generative Artificial Intelligence，GenAI）的广泛应用，以及其与医疗、金融、交通运输和信息安全等数据驱动领域的深度融合，显著提升了服务效率并降低了响应延迟。然而，这种融合也引发了关于大型语言模型（LLMs）安全性及其对企业和用户数据隐私影响的严重担忧。

许多科技公司在其服务中集成了具备一定自主决策能力的大语言模型，但由于 LLM 推理流水线（LLM pipeline）存在安全隐患，面临数据泄露和机密信息泄露的风险，使其容易遭受多种攻击，包括数据投毒（data poisoning）、**提示注入（prompt injection）和模型窃取（model theft）**等。

尽管目前已经采用了多种安全技术来降低这些风险，例如输入/输出净化（input/output sanitization）、去中心化学习（decentralized learning）、访问控制管理（access control management）以及加密技术（encryption），但量子计算攻击仍构成迫在眉睫的威胁。预计未来的量子计算能力将能够破解现有加密算法，从而恢复密钥、获取加密的敏感数据，并解密经过加密保护的模型。

在本文中，我们将基于**后量子密码学（Post-Quantum Cryptography，PQC）的格密码同态加密（Lattice-based Homomorphic Encryption，HE）**核心功能集成到大语言模型的推理流水线中，以保护其中部分网络层免受数据隐私攻击。

具体而言，我们对 LLaMA-3 模型所采用的 Transformer 架构推理流程进行了修改，并引入 concrete-ml 库提供的核心同态加密操作，将其嵌入推理过程。

实验结果表明，在采用**全同态加密（Fully Homomorphic Encryption，FHE）**保护的 LLaMA-3 推理模型上，我们仍然能够获得较高的文本生成准确率（最高可达 98%），同时保持较为合理的推理延迟（在 Intel Core i9 CPU 上约为 237 毫秒），生成速度最高可达 80 token/s。这些结果证明了本文方案在 FHE 保护下运行 LLaMA-3 推理模型的可行性与有效性。

此外，本文还通过进一步的实验与分析，对模型文本生成的延迟特性及其行为表现进行了深入讨论，以解释其性能表现及其背后的原因。

原文链接：https://arxiv.org/abs/2604.12168

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Harnesses for Inference-Time Alignment over Execution Trajectories

Summary

Harness 工程（harness engineering）已成为大型语言模型（LLM）智能体一种重要的推理时（inference-time）技术，其目标是通过任务分解和引导式执行提升智能体的长期表现。然而，更复杂的 harness 并不一定更优：增加任务分解的粒度或执行引导的强度，有时能够改善执行过程，但也可能降低最终任务的成功率。

我们从推理时轨迹对齐（inference-time trajectory alignment）的视角研究 harness 的设计。该视角将 harness 拆解为两种机制：任务分解（task decomposition），负责将任务组织为一系列子目标；以及引导式执行（guided execution），负责在执行过程中重塑局部动作分布（local action distributions）。

这种机制划分使我们能够量化工作流粒度（workflow granularity）、重试预算（retry budgets）以及引导导致的动作重加权（guidance-induced action reweighting）如何共同决定 harness 设计的性能上限。同时，它也揭示了若干具体的失效模式，包括过度分解（over-decomposition）、过度剪枝（over-pruning）以及幻觉式执行（hallucinated execution）。

我们通过受控的合成实验（controlled synthetic experiments）和真实终端智能体基准测试（real terminal agent benchmarks）验证了上述理论预测。

受该理论启发，我们进一步发现，一个高效的 harness 并不一定需要覆盖完整的执行流程：仅对任务的初始阶段进行结构化设计，而将后续执行交由智能体自主完成，相较于完全结构化的工作流，反而能够获得更高的任务通过率（pass rate）。

原文链接：https://arxiv.org/abs/2605.21516

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems

Summary

长期运行的 AI 智能体正越来越多地作为持续运行的业务系统投入部署，但它们仍然按照刚初始化的模型进行评估。部署首日（Day-one）的基准测试忽略了一个最基本的系统性问题：一个智能体在部署之后究竟能够保持可靠多久？

即使模型权重保持冻结，智能体的有效状态（effective state）仍会持续变化：它会压缩交互历史、从不断增长的记忆库中检索信息、在信息更新后修订已有事实，并经历日常维护。因此，可靠性应当被视为整个智能体运行框架（agent harness）的生命周期属性，而不仅仅是基础模型在某一时刻的静态属性。

我们提出 AgingBench，一个面向智能体生命周期工程（agent lifespan engineering）的纵向可靠性基准。它不仅衡量已部署智能体是否会发生性能退化，还关注退化以何种形式出现，以及修复工作应当针对哪些环节展开。

AgingBench 将智能体老化归纳为四种机制：压缩老化（compression aging）、干扰老化（interference aging）、修订老化（revision aging）以及维护老化（maintenance aging）。

为了诊断这些失效机制，AgingBench 引入了时间依赖图（temporal dependency graphs）和成对的反事实探针（paired counterfactual probes），从而为记忆流水线（memory pipeline）的写入（write）、**检索（retrieval）和利用（utilization）**三个阶段生成诊断画像（diagnostic profiles）。

在涵盖 7 个场景、14 个模型、多种记忆策略，以及由运行器控制（runner-controlled）和自主运行（autonomous）的智能体的实验中，我们完成了约 400 次运行，覆盖 8–200 个会话。结果表明，智能体老化并非单一维度的现象：行为测试可能依然表现良好，而事实精度却已开始下降；同一模型内部，对衍生状态（derived state）的跟踪能力可能在一次实验中急剧崩溃；甚至对于同一个错误答案，根据诊断画像所揭示的失效机制不同，其所需的修复方式也可能完全不同。

这些结果表明，要实现可靠的智能体部署，仅仅依赖更强的部署首日模型是不够的；还需要对智能体整个生命周期进行评估、开展机制层面的诊断，并针对不同阶段实施有针对性的修复。

原文链接：https://arxiv.org/abs/2605.26302