Seventy3

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Reasoning Models Generate Societies of Thought

Summary

大型语言模型已经在多个领域展现出卓越能力，但复杂推理能力背后的机制仍然难以完全解释。近期的一些推理模型在复杂认知任务上明显优于规模相当的指令微调模型，这通常被归因于通过更长的思维链（chain of thought）进行更多计算。

然而，我们的研究表明，推理能力的提升并不仅仅来自更长的计算过程，而是源于一种类似多智能体交互的模拟机制——“思想社会”（society of thought）。这种机制使模型能够在内部产生多种认知视角，并在这些视角之间进行多样化和辩论。这些视角通常表现为具有不同人格特征和领域专长的内部角色。

通过对推理轨迹进行定量分析以及使用机制可解释性（mechanistic interpretability）方法，我们发现像 DeepSeek-R1 和 QwQ-32B 这样的推理模型相比普通指令微调模型，表现出更高的视角多样性。在推理过程中，它们会激活更广泛的冲突信号，这些信号来自具有不同人格特征和专业知识相关特征的内部表示。

这种多智能体结构具体表现为多种对话式行为，例如：

• 提问与回答（question–answering）
• 视角转换（perspective shifts）
• 对冲突观点的协调与整合（reconciliation of conflicting views）

同时还表现出带有社会情绪角色的互动，例如尖锐的来回讨论。这些行为共同构成了一种类似对话的推理过程，从而带来了在推理任务上的准确率优势。

进一步的受控强化学习实验表明：
当基础模型仅仅因为推理准确率而获得奖励时，它们会自然增加这种对话式行为。此外，在微调过程中加入对话式结构（conversational scaffolding），能够使模型的推理能力提升速度快于未加入该结构的基础模型。

这些结果表明，思想的社会化组织有助于更有效地探索解空间。我们认为，推理模型在计算层面上形成了一种与人类群体中的集体智能（collective intelligence）相对应的机制：当多样性被系统性地组织起来时，它能够带来更强的问题解决能力。这也为未来通过多智能体组织结构来利用“群体智慧（wisdom of crowds）”提供了新的研究机会。

原文链接：https://arxiv.org/abs/2601.10825

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Learning to Discover at Test Time

Summary

我们如何利用 AI 为某个科学问题发现新的最先进（state-of-the-art）解法？此前关于测试时扩展（test-time scaling）的工作，例如 AlphaEvolve，是通过提示一个冻结（不再训练）的 LLM 来进行搜索。我们的做法是在测试阶段进行强化学习，使 LLM 在解决问题时仍然可以继续训练，但训练经验专门来自当前这个测试问题。

这种持续学习（continual learning）的形式非常特殊，因为它的目标并不是在平均意义上产生许多不错的解，而是找到一个非常优秀的解；并且是专门解决当前这个问题，而不是泛化到其他问题。因此，我们的学习目标和搜索子程序被设计为优先关注最有希望的解。我们将这种方法称为 Test-Time Training to Discover（TTT-Discover）。

沿用以往研究，我们重点关注**具有连续奖励（continuous rewards）**的问题。我们报告了所有尝试过的问题结果，涵盖以下领域：数学、GPU 内核工程、算法设计以及生物学。TTT-Discover 在几乎所有这些任务上都创造了新的最先进结果，包括：

1. Erdős 的最小重叠问题以及一个自相关不等式；
2. 一个 GPUMode 内核竞赛（速度最高可达此前最佳结果的 2 倍）；
3. 过去的 AtCoder 算法竞赛问题；
4. 单细胞分析中的去噪问题。

我们的解决方案均由相关领域专家或比赛组织者进行了评审。所有结果都使用一个开源模型 OpenAI gpt-oss-120b 实现，并且可以通过我们公开发布的代码进行复现；相比之下，以往的最佳结果通常依赖于封闭的前沿模型。

我们的测试时训练实验通过 Thinking Machines 提供的 Tinker API 运行，每个问题的成本仅为几百美元。

原文链接：https://arxiv.org/abs/2601.16175

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

A Formal Analysis of the Mimblewimble Cryptocurrency Protocol with a Security Approach

Summary

MimbleWimble（MW） 是一种以隐私为核心设计目标的加密货币技术，在安全性与可扩展性方面展现出区别于同类协议的特性。本文对这些关键属性进行了系统性阐述，并提出了一种基于模型驱动验证（model-driven verification）的形式化方法，用于验证协议实现的正确性与安全性。

具体而言，作者构建了一个理想化模型（idealized model），作为整个验证流程的核心基础。在此框架下，论文明确识别并精确定义了一组充分条件，以确保该模型能够支持对 MW 关键安全属性（如一致性、完整性与隐私性）的形式化验证。

鉴于 MW 构建于共识协议之上，研究进一步对某一类共识协议给出了 Z 语言规范（Z specification） 描述，并展示了由该 Z 规范自动生成的 {log} 原型系统的部分内容。该 {log} 原型可作为可执行模型（executable model）运行仿真，从而在无需底层编程实现的情况下分析协议行为。这种方法显著降低了验证成本，同时提高了形式化分析的严谨性。

最后，论文对当前基于 MW 协议实现的两个主要项目进行了分析：

• Grin
• Beam

研究评估了它们在当前开发阶段的实现特性与协议一致性状况，从形式化验证视角探讨其安全保障程度。

总体而言，该工作不仅阐明了 MW 在隐私与可扩展性方面的理论基础，还提出了一套可执行的形式化验证路径，为隐私型区块链协议的认证与安全评估提供了系统化方法论。

原文链接：https://arxiv.org/abs/2104.00822

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

SimpleMem: Efficient Lifelong Memory for LLM Agents

Summary

为支持复杂环境下的长期交互，大语言模型（LLM）智能体需要具备能够管理历史经验的记忆系统。现有方法要么通过被动扩展上下文来保留完整交互历史，导致信息冗余严重；要么依赖多轮迭代推理来过滤噪声，从而带来高昂的 token 消耗。针对这一问题，本文提出了 SimpleMem，一种基于语义无损压缩（semantic lossless compression）的高效记忆框架。我们设计了一个三阶段处理流水线，以最大化信息密度与 token 利用率：
语义结构化压缩（Semantic Structured Compression）：将非结构化交互内容提炼为紧凑的、多视角索引的记忆单元，提高信息组织度与可检索性。
在线语义综合（Online Semantic Synthesis）：在单次会话内部即时整合相关上下文，将分散信息抽象为统一表示，消除冗余。
意图感知检索规划（Intent-Aware Retrieval Planning）：通过推断检索意图，动态确定检索范围，并高效构建精确上下文。在基准数据集上的实验结果表明，该方法在准确率、检索效率与推理成本方面均持续优于基线方法。在 LoCoMo数据集上，SimpleMem 的平均 F1 值提升达 26.4%，同时在推理阶段将 token 消耗降低至原来的最高 1/30，实现了性能与效率之间的显著优化平衡。

代码已在论文提供的链接中公开。

原文链接：https://arxiv.org/abs/2601.02553

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Active Context Compression: Autonomous Memory Management in LLM Agents

Summary

由于“上下文膨胀”（Context Bloat）问题，大语言模型（LLM）智能体在长时程软件工程任务中面临显著挑战。随着交互历史不断增长，计算成本急剧上升，推理延迟增加，同时模型容易受到过往无关错误信息的干扰，导致推理能力下降。现有解决方案通常依赖被动的外部摘要机制，而智能体本身无法主动控制这一过程，因而限制了其自适应能力。

本文提出了 Focus，一种以智能体为中心的架构设计，其灵感来源于黏菌（Physarum polycephalum）的生物探索策略。Focus Agent 能够自主决定何时将关键经验整合为一个持久化的“Knowledge”模块，并主动撤回（剪枝）原始交互历史，从而实现动态上下文压缩与信息重组。

在实验设置中，作者采用符合工业最佳实践的优化执行框架（持久化 bash 环境 + 字符串替换编辑器），并在 SWE-bench Lite 的 N=5 个高上下文依赖任务实例上进行评估，使用模型 Claude Haiku 4.5。在鼓励频繁压缩的激进提示策略下，Focus 在保持相同准确率（两种方法均为 3/5 = 60%）的前提下，实现了 22.7% 的 token 使用量下降（从 1490 万降至 1150 万）。平均而言，每个任务执行 6 次自主压缩操作，个别实例的 token 节省幅度最高达 57%。

实验结果表明，只要赋予合适的工具接口与提示机制，具备能力的模型可以实现上下文的自主调节。这为构建具备成本意识（cost-aware）的智能体系统提供了新的路径，同时在不牺牲任务性能的情况下提升资源利用效率。

原文链接：https://arxiv.org/abs/2601.07190

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents

Summary

由于上下文窗口长度有限，大语言模型（LLM）智能体在长时程推理（long-horizon reasoning）任务中面临根本性约束，因此高效的记忆管理机制至关重要。现有方法通常将长期记忆（LTM）与短期记忆（STM）作为相互独立的模块进行处理，并依赖启发式规则或外部控制器进行调度，这种分离式架构限制了系统的自适应能力与端到端优化潜力。

本文提出了 Agentic Memory（AgeMem），一种将长期记忆与短期记忆管理统一纳入智能体策略内部的框架。AgeMem 将记忆操作抽象为基于工具的行动（tool-based actions），使 LLM 智能体能够自主决策何时以及如何存储、检索、更新、总结或丢弃信息，从而实现对记忆资源的策略化管理。

为训练这种统一的记忆决策行为，我们提出了一种三阶段渐进式强化学习策略，并设计了逐步式 GRPO（step-wise GRPO）算法，以缓解由记忆操作引发的稀疏且不连续奖励信号问题。该方法通过细粒度策略优化，增强了记忆相关行为的可学习性与稳定性。

在五个长时程基准任务上的实验结果表明，AgeMem 在多种 LLM 主干模型（backbone）上均显著优于强基线的记忆增强方法，不仅在任务完成度方面取得提升，还实现了更高质量的长期记忆构建与更高效的上下文利用效率。

原文链接：https://arxiv.org/abs/2601.01885

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Dr. Zero: Self-Evolving Search Agents without Training Data

Summary

随着高质量数据日益难以获取，无数据自进化（data-free self-evolution）逐渐成为一种具有前景的新范式。该方法使大语言模型（LLMs）能够自主生成并解决复杂问题，从而提升其推理能力。然而，多轮搜索智能体在无数据自进化过程中面临显著挑战，包括问题多样性受限，以及多步推理与工具调用所带来的高额计算开销。

在本研究中，我们提出了 Dr. Zero——一个使搜索智能体在无需任何训练数据的情况下实现有效自进化的框架。具体而言，我们构建了一个自进化反馈闭环：由一个提议者（proposer）生成多样化问题，用于训练一个由同一基础模型初始化的求解者（solver）。随着求解者能力的提升，其性能反过来激励提议者生成难度更高但仍可解的问题，从而形成一个自动化课程学习机制（automated curriculum），协同优化两个智能体。

为提高训练效率，我们进一步提出了“跳数分组相对策略优化”（hop-grouped relative policy optimization, HRPO）方法。该方法将结构相似的问题进行聚类，构建组级基线，从而有效降低对每个查询单独评估其难度与可解性的采样开销。结果表明，HRPO 在不损害性能与稳定性的前提下，显著减少了求解者训练所需的计算资源。

大量实验结果显示，在完全无数据条件下，Dr. Zero 的性能可与全监督训练的搜索智能体相当，甚至更优。这表明，复杂的推理与搜索能力可以通过纯粹的自进化机制自然涌现。

原文链接：https://arxiv.org/abs/2601.07055

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings

Summary

迄今为止，要有效扩展语言模型（LM）的上下文长度，通常需要进行超出预训练序列长度范围的高成本微调。在本研究中，我们通过在训练完成后移除语言模型中的位置嵌入（Dropping the Positional Embeddings，简称 DroPE），突破了这一关键瓶颈。

该方法虽简单，却建立在三个重要的理论与实证观察之上。首先，位置嵌入（Positional Embeddings, PEs）在预训练阶段发挥着关键作用，作为一种重要的归纳偏置，能够显著促进模型收敛。其次，模型对这种显式位置信息的过度依赖，恰恰成为其在测试阶段无法泛化到未见序列长度的根本原因，即便采用主流的位置嵌入缩放方法亦难以解决这一问题。第三，位置嵌入并非高效语言建模的内在必要条件，在完成预训练后，经过一个简短的再校准阶段，便可以安全移除，而不会破坏模型能力。

在实证层面，DroPE 方法无需进行任何长上下文微调，即可实现无缝的零样本上下文扩展；同时，它能够快速适配预训练语言模型，而不会削弱其在原始训练上下文范围内的性能。实验结果表明，该方法在不同模型规模与数据规模条件下均表现稳健，显著优于以往的专用架构设计以及成熟的旋转位置嵌入（Rotary Positional Embedding）缩放方法。

原文链接：https://arxiv.org/abs/2512.12167

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Learning Latent Action World Models In The Wild

Summary

量子计算的兴起对区块链系统的安全性构成了严峻挑战。作为数字签名、消息加密和哈希函数基础的传统密码算法，在量子计算机强大的计算能力面前逐渐显现出脆弱性。本文对向抗量子区块链过渡所涉及的风险进行了系统性评估，全面分析了针对区块链关键组成部分的潜在威胁，包括网络层、矿池、交易验证机制、智能合约以及用户钱包。

通过深入阐释向抗量子算法迁移过程中所固有的复杂技术挑战与战略考量，论文评估了相关风险，并重点指出在采用抗量子密码技术加固区块链组件时所面临的现实障碍。为实现从经典密码体系向抗量子密码体系的平稳演进，本文提出了一种混合迁移策略，以降低过渡期的系统性风险。

研究还将分析扩展至多个主流区块链平台，如比特币、以太坊、瑞波币、莱特币以及 Zcash，评估其易受攻击的关键组件、潜在影响以及相关的 STRIDE 威胁类型，从而识别出可能遭受量子攻击的高风险领域。

除风险分析之外，论文还为在量子计算时代构建安全、具备高韧性的区块链生态系统提供了可操作性的设计建议。鉴于量子计算机所带来的现实威胁，本研究主张主动推进向抗量子区块链网络的战略转型，并提出一套定制化安全蓝图，从体系结构层面强化各组件，以应对不断演进的量子驱动型网络安全威胁。

论文强调，区块链生态参与方亟需采取前瞻性措施并部署抗量子解决方案，以确保在量子时代背景下实现安全、稳定与可信的系统运行，并以更强的韧性与信心应对未来挑战。

原文链接：https://arxiv.org/abs/2501.11798

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

Blockchain Security Risk Assessment in Quantum Era, Migration Strategies and Proactive Defense

Summary

量子计算的兴起对区块链系统的安全性构成了严峻挑战。作为数字签名、消息加密和哈希函数基础的传统密码算法，在量子计算机强大的计算能力面前变得脆弱。本文对向抗量子区块链过渡的风险进行了全面评估，系统分析了针对区块链关键组件的潜在威胁，包括网络层、矿池、交易验证机制、智能合约以及用户钱包。

通过阐明向抗量子算法迁移过程中所固有的复杂挑战与战略考量，本文评估了相关风险，并揭示了利用抗量子密码技术加固区块链各组成部分所面临的障碍。为实现从经典密码体系向抗量子密码体系的平稳过渡，论文提出了一种混合迁移策略。

分析范围涵盖了主流区块链平台，如比特币、以太坊、瑞波币、莱特币和Zcash，评估其易受攻击的组件、潜在影响以及相关的STRIDE威胁模型，从而识别出可能遭受量子攻击的关键领域。

除理论分析外，本文还为在量子计算时代构建安全、韧性强的区块链生态系统提供了可操作性指导。鉴于量子计算机所带来的潜在威胁，研究主张主动推进向抗量子区块链网络的转型，并提出一套定制化安全蓝图，从战略层面加固各个组件，以应对不断演变的量子驱动网络安全威胁。

论文强调，区块链相关利益方亟需采取前瞻性措施并部署抗量子解决方案，以增强系统在量子时代背景下的安全韧性与信心。

原文链接：https://arxiv.org/abs/2501.11798