Seventy3

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：

TariScript: Bringing dynamic scripting to Mimblewimble

Summary

Mimblewimble 是一种在隐私性与可扩展性方面表现优良的加密货币协议。但其一个权衡在于：交易需要发送方与接收方之间进行交互式协作。

TariScript 被提出为对 Mimblewimble 的一种扩展，为该协议增加了脚本（scripting）能力。本文阐述了 TariScript 的理论基础，并介绍了为确保其安全性所需的协议修改。同时，文中还简要讨论了 TariScript 所涉及的权衡以及其潜在应用场景。

原文链接：https://www.tari.com/assets/updates/docs/tariscript.pdf

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：

Mimblewimble

Summary

2016 年 8 月 2 日凌晨约 04:30（UTC），一位使用“Tom Elvis Jedusor”这一化名的匿名人士登录了一个比特币研究 IRC 频道，发布了一份托管在 Tor 隐藏服务上的文档 [Jed16]，随后立即退出。该文档题为《Mimblewimble》，描述了一种区块链方案，其交易构造方式与比特币截然不同，支持交易的非交互式合并与 cut-through 机制、机密交易（confidential transactions），以及在无需新用户验证任何单个币完整历史的情况下，对当前链状态（chainstate）进行完整验证。

然而，尽管该论文对核心思想的阐述相当详细，但并未给出安全性论证，甚至还包含一个错误。本文的目的在于对原始思想进行精确定义，并补充作者提出的进一步扩展性改进。

具体而言，Mimblewimble 能够显著压缩交易历史。如果记录与比特币当前历史等规模的交易数据，理论上需要约 15GB 的数据（不包括 UTXO 集；若将包含区间证明的 UTXO 集计算在内，则需超过 100GB）。Jedusor 留下了一个尚未解决的问题，即如何进一步减少这一数据规模；本文对此问题给出了解决方案，并结合现有关于压缩工作量证明（proof-of-work）区块链的研究成果，将 15GB 的数据规模压缩至不足 1MB。

原文链接：http://misskiwi.com/download/mimblewimble.pdf

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：

Deep Delta Learning

Summary

深度残差网络的有效性依赖于恒等映射的捷径连接（identity shortcut connection）。尽管这种机制缓解了梯度消失问题，但其对特征变换施加了严格的加性归纳偏置（strictly additive inductive bias），从而限制了网络对复杂隐状态转移的建模能力。

在本文中，我们提出了 Deep Delta Learning（DDL），将原本固定的恒等映射捷径推广为一个可学习的、依赖状态的线性算子。该算子被称为 Delta Operator，其形式为单位矩阵的秩 1 扰动：

A(X)=I−β(X)k(X)k(X)⊤

其中，k(X) 是一个单位方向向量，β(X)β(X) 是一个标量门控参数。

我们通过谱分析（spectral analysis）表明，β(X)β(X) 可以在以下三种情形之间连续插值：

• 恒等映射（Identity）：β=0
• 正交投影（Orthogonal Projection）：β=1
• Householder 反射（Householder Reflection）：β=2

此外，我们将残差更新重写为一种同步的秩 1 增量写入（synchronized rank-1 delta write）：参数 ββ 同时控制当前 kk-分量的移除幅度，以及新的 kk-分量的注入幅度。这种统一表述使得模型能够沿着一个数据依赖方向，对捷径连接的谱性质进行显式控制，同时保持训练过程的稳定性。

在实证实验中，我们将 Transformer 中的残差加法替换为 DDL 机制，结果表明：在语言建模任务上，验证损失（validation loss）与困惑度（perplexity）均得到改善，下游评测准确率也有所提升；在扩展状态维度（expanded-state setting）条件下，性能增益更为显著。

原文链接：https://arxiv.org/abs/2601.00417

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：

Training AI Co-Scientists Using Rubric Rewards

Summary

AI 协作科学家（AI co-scientists）正逐渐成为辅助人类研究者实现科研目标的重要工具。这类系统的一个关键能力，是在给定研究目标与约束条件的情况下生成可行的研究计划。这些计划既可用于研究者头脑风暴，也可在进一步完善后付诸实施。然而，目前的语言模型在生成同时满足所有显性约束与隐含要求的研究计划方面仍存在明显不足。

在本研究中，我们探索如何利用海量已有科研论文语料，训练语言模型生成更高质量的研究计划。我们通过自动化方法，从多个领域的论文中提取研究目标以及针对特定目标的评分细则（goal-specific grading rubrics），构建了一个可扩展且多样化的训练语料库。在此基础上，我们采用带有自评机制（self-grading）的强化学习方法对模型进行训练。在训练过程中，初始策略的冻结副本充当评分器，而评分细则则在生成器与验证器之间构建出“生成—评估差距”（generator-verifier gap），从而在无需外部人工监督的情况下实现性能提升。

为验证该方法的有效性，我们针对机器学习领域的研究目标开展了一项由人类专家参与的研究，总计耗时 225 小时。结果显示，在 70% 的研究目标上，专家更偏好我们微调后的 Qwen3-30B-A3B 模型所生成的研究计划，而非初始模型生成的版本；同时，专家认可 84% 自动提取的目标特定评分细则。

为评估方法的泛化能力，我们还将该框架扩展至医学论文中的研究目标以及新的 arXiv 预印本，并通过一组前沿模型组成的“评审团”进行评估。实验结果表明，我们的微调方法带来了 12%–22% 的相对性能提升，并展现出显著的跨领域泛化能力，即使在诸如医学研究这类难以获得执行反馈的问题场景中，也依然有效。

总体而言，这些发现表明，一种可扩展、自动化的训练范式有望成为提升通用 AI 协作科学家能力的重要一步。

原文链接：https://arxiv.org/abs/2512.23707

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：

GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

Summary

随着语言模型能力的不断提升，用户不仅期望其提供准确的回答，还希望其行为能够在多种场景下符合多样化的人类偏好。为实现这一目标，强化学习（RL）流程开始引入多个奖励信号，每个奖励分别刻画一种不同的偏好，以引导模型朝着期望行为优化。然而，近期研究在多奖励设定下默认采用 Group Relative Policy Optimization（GRPO），却未对其适用性进行充分检验。

本文表明，直接在多奖励场景中应用 GRPO，对不同 rollout 奖励组合进行归一化时，会导致这些组合坍缩为相同的优势值（advantage value），从而降低训练信号的分辨率，导致次优收敛，甚至在某些情况下出现训练早期失败。

为解决上述问题，我们提出了 Group reward-Decoupled Normalization Policy Optimization（GDPO），一种新的策略优化方法。该方法通过对各个奖励的归一化过程进行解耦，更真实地保留奖励之间的相对差异，从而实现更精确的多奖励优化，并显著提升训练稳定性。

我们在三个任务上对 GDPO 与 GRPO 进行了对比实验：工具调用、数学推理和代码推理。评估指标既包括正确性指标（如准确率、错误率），也包括约束遵循指标（如格式规范、长度控制）。在所有实验设置下，GDPO 均稳定优于 GRPO，验证了其在多奖励强化学习优化中的有效性与良好的泛化能力。

原文链接：https://arxiv.org/abs/2601.05242

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：Accelerating Scientific Discovery with Autonomous Goal-evolving Agents

Summary

近年来，人们对开发能够拓展科学发现边界的智能体产生了前所未有的兴趣，这类智能体主要通过优化科学家所设定的定量目标函数来开展工作。然而，对于科学中的重大挑战而言，这些目标函数仅仅是不完美的代理指标。我们认为，实现目标函数设计的自动化，是科学发现智能体的一个核心但尚未满足的关键需求。

在本研究中，我们提出了科学自主目标进化智能体（Scientific Autonomous Goal-evolving Agent，SAGA）以应对这一挑战。SAGA 采用双层架构：外层循环由大语言模型（LLM）智能体负责分析优化结果、提出新的目标，并将其转化为可计算的评分函数；内层循环则在当前目标下执行解的优化。该双层设计使系统能够系统性地探索目标空间及其权衡关系，而不再将目标视为固定输入。

我们通过一系列广泛的应用验证了该框架的有效性，包括抗生素设计、无机材料设计、功能性 DNA 序列设计以及化学工艺设计。结果表明，目标制定过程的自动化能够显著提升科学发现智能体的整体效能。

原文链接：https://arxiv.org/abs/2512.21782

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

mHC: Manifold-Constrained Hyper-Connections

Summary

近年来，以 Hyper-Connections（HC） 为代表的研究，通过扩展残差流的宽度并多样化连接模式，对过去十年中广泛采用的残差连接范式进行了拓展。尽管这种多样化带来了显著的性能提升，但它从根本上破坏了残差连接所固有的恒等映射（identity mapping）属性，从而导致严重的训练不稳定性和可扩展性受限，并且还引入了显著的内存访问开销。

为了解决这些问题，我们提出了 流形约束的 Hyper-Connections（Manifold-Constrained Hyper-Connections，mHC），这是一种通用框架：通过将 HC 的残差连接空间投影到特定流形上，以恢复恒等映射属性；同时结合严格的系统级优化，以确保整体效率。

大量实证实验表明，mHC 能够有效支持大规模训练，在带来可观性能提升的同时，展现出更优的可扩展性。我们期待 mHC 作为 HC 的一种灵活且实用的扩展，能够促进对拓扑结构化网络架构设计的更深入理解，并为基础模型的演进指明富有前景的方向。

原文链接：https://arxiv.org/abs/2512.24880

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

Deep sequence models tend to memorize geometrically; it is unclear why.

Summary

人们通常认为，深度序列模型主要以联想记忆（associative memory）的形式存储原子事实，即对共同出现实体的暴力式查找。我们识别出了一种截然不同的原子事实存储形式，并将其称为几何记忆（geometric memory）。在这种机制下，模型合成了能够编码所有实体之间全局新关系的嵌入表示，甚至包括在训练过程中从未共同出现的实体对。

这种存储方式极具威力：例如，我们展示了它如何将一个涉及 ℓ 次复合的困难推理任务，转化为一个易于学习的一步导航任务。

基于这一现象，我们提炼出神经嵌入几何的一些基础性特征，而这些特征并不容易被解释。我们认为，相较于对局部关联的查找，这种几何结构的出现，不能被简单地归因于常见的监督信号、模型架构或优化压力。反直觉的是，即便这种几何结构比暴力查找更为复杂，模型依然会学习到它。

随后，通过分析其与 Node2Vec 的联系，我们表明，这种几何结构源自一种谱偏置（spectral bias）；与现有主流理论相反，这种偏置即使在缺乏多种外在压力的情况下，也会自然地产生。这一分析还向实践者指出：仍然存在明显的提升空间，可以使 Transformer 的记忆机制呈现出更强的几何性。

我们希望，对参数化记忆的几何视角能够促使研究者重新审视那些在知识获取、容量、发现以及遗忘等领域中长期占据主导地位的默认直觉。

原文链接：https://arxiv.org/abs/2510.26745

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

End-to-End Test-Time Training for Long Context

Summary

我们将长上下文语言建模表述为一个持续学习（continual learning）问题，而非一个架构设计问题。在这一表述下，我们仅使用一种标准架构——带有滑动窗口注意力的 Transformer。然而，模型在测试阶段会通过对给定上下文进行下一词预测而持续学习，将其读取到的上下文压缩并写入模型权重中。

此外，我们在训练阶段通过元学习（meta-learning）来改进模型在测试时进行学习的初始化。总体而言，我们的方法是一种测试时训练（Test-Time Training，TTT）形式，并且在测试阶段（通过下一词预测）和训练阶段（通过元学习）均实现了端到端（End-to-End，E2E），这与以往的 TTT 方法形成对比。

我们开展了大量实验，重点分析其尺度扩展特性（scaling properties）。具体而言，对于使用 164B tokens 训练的 30 亿参数模型，我们的方法（TTT-E2E）在上下文长度上的扩展行为与全注意力 Transformer一致，而诸如 Mamba 2 和 Gated DeltaNet 等方法则不具备这一特性。

同时，与 RNN 类似，TTT-E2E 的推理时延与上下文长度无关，在 128K 上下文长度下，其速度比全注意力机制快 2.7 倍。我们的代码已公开发布。

原文链接：https://arxiv.org/abs/2512.23675

前往小宇宙评论区与主播互动

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

Summary

尽管混合专家模型（Mixture-of-Experts，MoE）通过条件计算来扩展模型容量，Transformer 本身却缺乏用于知识查找的原生机制，只能通过计算来低效地“模拟”检索。为了解决这一问题，我们引入了条件记忆（conditional memory），作为一种互补的稀疏性维度，并通过 Engram 模块将其具体化。Engram 对经典的 N-gram 嵌入进行了现代化改造，实现了 O(1) 时间复杂度的查找。

通过形式化稀疏性分配（Sparsity Allocation）问题，我们发现了一条 U 形缩放定律，用于优化**神经计算（MoE）与静态记忆（Engram）之间的权衡。在该定律的指导下，我们将 Engram 扩展至 270 亿参数，在严格参数量相同（iso-parameter）且计算量（FLOPs）相同（iso-FLOPs）**的 MoE 基线之上取得了更优性能。

尤为值得注意的是，尽管记忆模块本被预期主要提升知识检索能力（如 MMLU +3.4；CMMLU +4.0），我们却在通用推理方面观察到更大的增益（如 BBH +5.0；ARC-Challenge +3.7），并且在代码与数学领域同样显著（HumanEval +3.0；MATH +2.4）。

机制层面的分析表明，Engram 将静态重构的负担从主干网络的早期层中移除，实质上加深了网络，从而有利于复杂推理。此外，通过将局部依赖交由查表完成，它释放了注意力机制的容量，用于建模全局上下文，从而显著提升了长上下文检索能力（例如 Multi-Query NIAH：从 84.2 提升至 97.0）。

最后，Engram 还实现了面向系统架构的高效性：其确定性的寻址方式支持在运行时从主机内存进行预取，几乎不引入额外开销。我们认为，条件记忆将成为下一代稀疏模型中不可或缺的建模原语。

原文链接：https://arxiv.org/abs/2601.07372

前往小宇宙评论区与主播互动