Seventy3

Seventy3

Download on the App Store

Seventy3 episodes

  • 【第767期】E-Commerce Bench:大模型自主经营能力评估 benchmark

    今天的这篇的主题是: E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    长流程智能体(Long-horizon agentic)任务绝非简单地在更多交互轮次中将短期任务进行串联。其不断动态演化的环境与长跨度依赖关系,要求大语言模型(LLM)必须在成千上万个步骤中持续探索、从经验中学习并动态调整其策略。

    我们推出了 E-Commerce Bench,这是首个将多轮对手谈判与动态事件整合到长达一年的商业运营中的开源基准测试。在为期 365 天的一年中,LLM 智能体需要同时运营多家在线店铺,开展市场调研、与供应商谈判采购库存、优化销售策略、履约订单、处理退货并管理现金流,以实现年终总资产的最大化。

    为了构建逼真的商家侧运营环境,产品与供应商数据均源自真实的电商平台;同时,涵盖促销活动、自然灾害和供应链冲击的一年期日历不断重塑市场需求。为确保可复现性,市场双边均为确定性设计:客户采购与退货遵循固定的需求模型,谈判核心引擎则决定供应商的定价、让步与决策,LLM 仅用于将其表达为文本语言。

    我们在包括年终资产在内的七个维度上对 18 个前沿模型进行了评估,结果表明没有单一模型能够占据绝对主导地位。GPT-5.6 Sol 的收益最高,将 100,000 的初始本金增长至 1,431,425,但它在防范欺诈方面仅排在 18 个模型中的第 16 位,且在运营效率上落后于 Fable5。在开源/开放权重模型中,Qwen3.8-Max-Preview 以 416,252 的成绩保持领先,比 GLM 5.2 (high) 高出 38%,并在整个测试周期内展现出了最强的学习能力,能够在重复下单的过程中逐步压低采购价格。

    原文链接:https://arxiv.org/abs/2608.30730


    前往小宇宙评论区与主播互动
    16 min
  • 【第766期】CORAL:基于大模型代理循环的推荐系统优化优化器

    今天的这篇的主题是: CORAL: An LLM-Native Harness for Production Recommender Systems

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    生产级推荐系统决定着数十亿人所看到的内容,而维持这些系统的性能需要持续优化:随着内容、用户行为和上游模型不断变化,必须反复审视和调整控制召回、排序与服务的各项决策。

    传统上,人类工程师通过在线实验来测试这些变更,但这一过程缓慢且被动,并受到工程资源投入的限制,导致系统的某些部分无法随着环境变化得到及时调整。尽管大语言模型已经被应用于排序、用户建模和离线模型开发,但很少有系统能够让智能体进入一个持续运行的闭环,直接作用于在线推荐系统,并从其决策产生的实际效果中学习。

    我们提出了 CORAL(Constraint-Optimized Recommender via an Agentic Loop,基于智能体闭环的约束优化推荐系统),一种原生面向大语言模型的智能体运行框架(Harness),旨在构建这一闭环。

    在每一轮循环中,智能体首先观察系统运行信号,结合对历史决策及其结果的记忆进行推理,然后调用工具重新配置推荐系统。这些工具包括一个数值优化器,用于确保调整始终处于固定的运行预算约束之内。每轮调整产生的实际测量结果又会用于指导下一轮决策。

    我们将这一过程形式化为一个部分可观测、非平稳、带约束的优化问题。在这一框架下,智能体策略能够从先前的行动中通过上下文学习持续改进,而无须更新模型参数。

    我们在两个大型社交平台上通过 A/B 实验进行了评估。结果表明,同一套 Harness 在其中一个平台上能够在不增加服务成本的情况下提升用户参与度,而在另一个平台上则能够在不降低用户参与度的前提下降低服务成本,覆盖了用户参与度与系统效率之间的权衡前沿。

    随着闭环迭代次数增加,系统性能持续改善。这表明,在明确的约束与安全护栏下,单一的智能体闭环有望自动化完成传统上由人类算法工程师承担的持续优化工作。

    原文链接:https://arxiv.org/abs/2609.02730


    前往小宇宙评论区与主播互动
    12 min
  • 【第765期】SKILL.state:具有显式执行状态的可扩展长程智能体技能

    今天的这篇的主题是: SKILL.state: Scalable Long-Horizon Agent Skills

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    大语言模型(LLMs)正越来越多地作为自主智能体执行复杂、长时间运行的程序性技能。现有的智能体运行时系统通常通过不断向持续增长的对话历史中追加观察结果、动作和中间推理轨迹来维持执行过程,导致长时程任务中的延迟增加和上下文污染(Context Poisoning)问题。

    我们提出了 SKILL.state,一种使用显式、可变的执行状态(Execution State)取代仅追加式对话历史的运行时架构。

    在每个执行步骤中,模型仅接收不可变的技能规范(Skill Specification)、当前的结构化执行状态以及最新的观察结果。中间推理内容在生成经过验证的状态更新后会被立即丢弃,从而避免提示词随着执行历史的累积而不断增长。

    在多种数据集、模型和执行环境上的实验表明,SKILL.state 在显著降低累计 Token 消耗的同时,提高了任务准确率。

    我们的研究结果表明,显式执行状态是一种有效且不依赖于特定架构的抽象机制,能够支持长时程智能体技能的规模化执行。

    原文链接:https://arxiv.org/abs/2608.26263


    前往小宇宙评论区与主播互动
    19 min
  • 【第764期】WikiSkill:通过持久知识演化提升智能体技能

    今天的这篇的主题是: WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    智能体技能(Agent Skills)将专业知识和工作流封装为可复用的资源,以扩展 AI 智能体的能力。近期研究开始从智能体的执行经验中自动发现此类技能,使智能体能够通过交互逐步适应环境。然而,指导技能开发的洞察通常分散在优化历史记录中,限制了这些知识在多轮迭代之间的系统性复用。

    我们提出了 WikiSkill,一个能够让智能体技能与持久化知识库(Wiki)协同演化的框架。从整体上看,WikiSkill 将原始执行经验、累积知识和可执行技能分离,同时持续将执行经验整合到 Wiki 中,使后续的技能更新能够建立在已有知识的基础之上。

    在多种基准测试和模型上的实验表明,WikiSkill 的表现始终优于当前最先进的技能演化方法,并且在大多数模型与基准测试组合中,相比不使用技能的基线取得了性能提升。

    我们发现,技能演化与模型规模扩展具有互补性:更大规模的模型通常能够从演化后的技能中获得更多收益,而配备技能的小模型甚至可以超越规模大得多、但未配备技能的模型。

    我们还发现,演化后的技能能够有效地在不同模型及模型家族之间迁移,而且由其他模型演化出的技能,其表现甚至可能优于模型自身演化出的技能。

    最后,消融实验进一步证实,在 Wiki 中持续积累知识是实现有效技能演化的关键。

    这些结果表明,通过系统性地积累和提炼智能体的执行经验,可以有效促进可复用、可迁移技能的开发。

    原文链接:https://arxiv.org/abs/2608.27454


    前往小宇宙评论区与主播互动
    24 min
  • 【第763期】Harness-of-Harness:基于LLM的自动化游戏开发框架

    今天的这篇的主题是: Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    本文研究自主软件开发(Autonomous Software Development),即基于大语言模型的编程智能体在无需人工干预的情况下,将高层需求转化为完整、功能健全且可用的软件系统。

    我们提出了 Harness-of-Harness(HoH),一个能够让编程智能体在自主开发过程中持续改进软件的框架。HoH 构建于现有的编程智能体运行框架(Harness)之上,将其执行过程组织为迭代式的规划—编码—测试循环。

    为了在多轮循环中实现持续改进,HoH 在问题修复与能力增长之间保持平衡,将开发任务划分为小规模、可验证的增量,区分实现阶段的测试与独立评估,并通过约束可验证的输出结果,而非预先规定智能体的工作流程,来引导开发过程。

    HoH 还会逐步向智能体开放交付产物、特定角色的工具和技能,鼓励复用现有成果而非重复创建,并维护带有版本信息的项目历史记录。

    在 GameCraft-Bench、FrontierSWE 和 ProgramBench 三个基准测试中,我们评估了三组 Harness 与模型的组合:Codex 搭配 GPT-5.5、OpenCode 搭配 DeepSeek-V4-Pro,以及 Pi 搭配 MiniMax-M3。结果表明,HoH 的表现始终优于对应的独立 Harness。在经过三轮迭代后,平均相对性能提升达到 52.25%,最大提升达到 82.86%。

    在一次持续数天、包含 70 多轮迭代的实际部署中,HoH 自主开发出了一款第一人称射击游戏。该游戏具有连贯的故事情节、完整实现的核心游戏机制、可供人类实际游玩的游戏体验、精细打磨的视觉效果以及集成的音频系统。

    原文链接:https://arxiv.org/abs/2609.01481


    前往小宇宙评论区与主播互动
    15 min
  • 【第762期】声明性注意机制:大模型自主控制注意力跨度

    今天的这篇的主题是: Language Models Can Control Their Own Attention

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    语言模型的大部分注意力实际上集中在上下文中的一小部分内容上,但为了找到少数真正重要的 Token,它们仍然需要读取整个 KV 缓存。例如,当用户询问一段包含 100 万 Token 的对话中的某个历史细节时,全局注意力层必须在生成回复的每一个 Token 时扫描完整的上下文。

    一种主流方法是通过轻量级代理评分(Proxy Scores)预先筛选相关 Token,但这种外部评分机制仍然会在每个生成步骤产生 O(N) 的计算开销。

    我们采用了一种内生式方法(Intrinsic Approach),其出发点是一个简单的问题:模型自身难道不应该已经知道上下文中的哪些部分是相关的吗?

    我们提出了声明式注意力(Declarative Attention,DA),一种引导模型在其思维链(Chain-of-Thought)中主动声明需要关注哪些上下文区域的协议。该协议将生成过程划分为三种模式:

    (1):全局模式,关注完整上下文。

    (2):聚焦模式,仅关注特定的上下文区域。

    (3):局部模式,仅关注最近生成的输出。

    推理引擎像解析工具调用一样解析这些声明,从而跳过对 KV 缓存中绝大部分内容的读取。

    在涵盖 15 项长上下文任务的零样本评估中,将 DA 应用于现成模型 Gemma-4-31B 和 Qwen-3.6-27B 后,尽管引入了额外的解码步骤,每次响应所需关注的 Token 总量仍分别减少了 45.8% 和 19.6%,而准确率仅分别下降了 1.40 和 2.10 个百分点。随着模型规模增大,这种准确率损失进一步缩小。

    DA 为稀疏注意力机制开辟了一个新的优化维度,并有望通过基于训练的方法进一步释放其潜力。

    原文链接:https://arxiv.org/abs/2609.02737


    前往小宇宙评论区与主播互动
    18 min
  • 【第761期】Co-Scientist:Gemini驱动的现实世界科研加速器

    今天的这篇的主题是: Accelerating Scientific Research with Gemini in the Real-World

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    我们介绍了 Co-Scientist 的扩展版本及其全面的真实世界验证。Co-Scientist 是一个基于 Gemini 的多智能体系统,旨在加速从假设生成、实验执行到论文撰写的端到端科学研究流程。

    这一专门配置突破了以往仅在计算机模拟环境(In Silico)中生成科学假设的局限,使 Co-Scientist 转变为一个以实际执行为基础的科研合作伙伴,推动材料科学、生物学和计算机科学领域的闭环科学研究工作流。

    在材料科学领域,Co-Scientist 与一台半自动化化学气相沉积(Chemical Vapor Deposition,CVD)反应器对接,为 MXenes 材料设计了一条安全的前驱体合成路线。实验执行成功制备出一种层状二维材料,其关键结构特征与 Ti₃C₂Tₓ MXene 晶格具有相似性,但仍需进一步实验来确认其原子结构。

    此外,借助 Gemini 3 Deep Think 实现快速的实验室在环(Lab-in-the-Loop)执行,Co-Scientist 能够在数分钟内根据实验室的实际约束条件定制材料生长方案,并成功通过单次尝试生长出单层 MoS₂、MoSe₂ 和 WS₂ 半导体材料。

    在生物学领域,Co-Scientist 利用稀疏的成像数据,预测了工程化大肠杆菌(E. coli)在不同诱导剂(IPTG)浓度梯度下涌现出的群集运动表型(Swarming Phenotypes)。其预测结果与尚未发表的湿实验(Wet-Lab)形态学测量数据在定量上高度吻合。

    在计算机科学领域,Co-Scientist 自主发现了一种推理时扩展(Inference-Time Scaling)架构。该架构在 HealthBench(Hard 和 Professional)基准测试中超越了六个前沿模型,并在医生盲评中降低了潜在的临床伤害风险。

    最后,我们开展了一项针对端到端自动生成科研论文的双盲研究,邀请 30 位领域专家完成了共计 450 次评审。结果表明,Co-Scientist 的可靠性模块能够减少幻觉和抄袭现象,同时提高科学研究的安全性。

    总体而言,这些结果表明,我们正朝着能够加速真实世界科学发现的闭环多智能体科学 AI 系统迈出重要一步。

    原文链接:https://arxiv.org/abs/2608.26701


    前往小宇宙评论区与主播互动
    21 min
  • 【第760期】超越压缩悬崖:AI智能体的知识分流框架

    今天的这篇的主题是: The Compaction Cliff in Long-Running AI Agent Memory

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    在 AI 智能体的上下文中,安全规则与情节式日志(Episodic Log)会竞争相同的 Token 预算。当上下文超出容量限制时,两者通常会以相同的压缩率进行摘要;然而,只有安全规则需要保留精确的措辞,才能确保其持续得到执行。

    在 20 个生产级智能体配置上,我们发现,Claude Code 的 /compact 提示词在 Sonnet 4.6 上经过一轮上下文压缩后,仅能保留 53% 的安全规则;经过五轮压缩后,这一比例进一步下降至 10%。我们将这一现象称为压缩悬崖(Compaction Cliff)。

    为解决这一问题,我们提出了知识分诊(Knowledge Triage)框架。该框架根据类型对智能体知识库中的每一行内容进行分类,并为不同类型的信息分配各自的保留策略。

    我们设计了三个确定性算子,分别对应三种上下文管理操作:

    (1)TypeCompact:根据不同信息类型的保真度要求,直接在原位置重写内容。

    (2)TypeDecompose:当某个主题过大、无法安全压缩时,将其划分为多个分区,并在各分区之间复制适用范围内的安全规则。

    (3)TypeRetrieve:从外部存储中检索信息,并将适用范围内的安全规则置于相关性排序之前,确保其优先保留。

    在五个公开语料库上的实验表明,TypeCompact 在所有压缩比例下保留的安全规则数量均为最强单轮 LLM 压缩器的 2–4 倍,并在五轮压缩后仍保持 96% 的召回率。TypeDecompose 将局部性违规率(Locality Violations)降至 0%,而统一分区方法的违规率高达 93%。TypeRetrieve 的 Recall@50 达到 100%,相比之下,最佳单轮 LLM 检索器仅达到 73%。

    在三个下游行为基准测试中,我们的方法同样表现出优势:在医疗合规任务中,我们在规则保留方面显著优于生产环境使用的 Sonnet 压缩器(配对 McNemar 检验,p < 10⁻⁸,N = 200);在零售任务中,我们的任务通过率显著优于完整策略基线和层次化基线(p < 0.01,N = 115);在航空领域中,我们的方法也显著优于层次化压缩方法(p = 0.024)。

    我们开源了 AgentArtifactCorpus 数据集(包含来自 54,628 个公开 GitHub 代码仓库的 396,934 个智能体配置)、分类器以及参考实现。

    原文链接:https://arxiv.org/abs/2608.22752


    前往小宇宙评论区与主播互动
    15 min
  • 【第759期】Prime Agent:自我优化的递归语言模型框架

    今天的这篇的主题是: Prime Agent: A Self-Improving RLM Harness

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    语言模型本质上是序列处理器,但长时程智能体任务需要超越模型权重和当前活跃上下文的外部信息与计算能力。Prime Agent 是一个开源的智能体运行框架(Harness),面向长时程评估和编程智能体工作流。

    其持久化 IPython REPL 遵循递归语言模型(Recursive Language Model,RLM)的抽象,通过编程方式实现上下文处理和测试时计算(Test-Time Compute);与此同时,持续性 Harness(Continual Harness)能够跨执行轨迹保留历史记录、记忆、技能、提示词以及子智能体规格。

    递归子智能体通过智能体之间的直接通信进行协调,而 Agents View 则允许人类检查和管理由守护进程支持的会话。

    Prime Agent 对执行、恢复、验证和资源核算进行标准化,同时将策略构建交由模型自主完成。这一低摩擦、高表达能力的中间层能够防止 Harness 层面的故障转化为模型层面的失败,并推动评估更加接近模型底层能力的真实上限。

    Prime Agent 将 ARC-AGI-3 RHAE 的 Best@1 成绩从 30% 提升至 95.5%,并在长上下文编程、GPU 内核生成、模拟器构建以及自主 nanoGPT 速度挑战等任务中,达到或超越原生 Harness 和主流 Harness 的表现。

    在 Factorio 环境中,我们发现,持续优化(Refinement)能够支持科技进度的不断推进,而专用子智能体则能够实现任务的并行处理。

    原文链接:https://arxiv.org/abs/2608.23552


    前往小宇宙评论区与主播互动
    21 min
  • 【第758期】JIT-Agent:即时合成与进化的智能代理架构

    今天的这篇的主题是: JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

    如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

    联系小助手微信:eccstartup(加群/投稿论文)

    Summary

    智能体的能力并非仅由模型本身决定。智能体运行框架(Agent Harness)涵盖记忆管理、规划策略、动作协议以及工具与技能编排等方面,其对智能体性能的贡献甚至可能超过底层基础模型。然而,当前的 Harness 设计仍然依赖人工、针对特定任务定制,并且从根本上难以实现规模化。

    我们提出了 JIT-Agent,一种专门用于 Harness 智能化的模型,经过训练后能够针对任意现成的智能体大语言模型,即时生成适应具体任务的 Agent Harness。我们将 Agent Harness 形式化为一种可组合、可由机器自动生成的产物,并通过固定的四模块协议对其进行规范。在此基础上,我们训练 JIT-Agent,使其能够针对当前任务定制 Harness,修复 Harness 以确保执行过程的稳定性和可靠性,并通过从不断扩展的历史 Harness 配置档案中提炼性能信号,实现自我演化。

    在 JIT-Agent 的 Harness 辅助下,DeepSeek-V4-Flash 在 DeepSearchQA 和 OdysseyBench 上的表现分别超越 GPT-5.6 达 9.1 和 4.3 个百分点,而原本已经具备较强能力的 GLM-5.2 也获得了最高 20.2 个百分点的提升。

    在一系列受控评估中,JIT-Agent 生成的 Harness 在性能上能够与 OpenCode 和 Claude Code 等成熟的智能体运行时系统相媲美,并且能够持续提升 DeepSeek V4、Mimo-V2.5 和 Qwen3.6 等不同规模模型家族的表现。

    据我们所知,JIT-Agent 是首个专门为即时生成 Harness 而设计的模型。它将 Harness 智能(Harness Intelligence)确立为智能体能力中一个独立于模型规模扩展的维度,这一维度具有可训练、可迁移以及持续累积增强的特性。

    原文链接:https://arxiv.org/abs/2608.25593


    前往小宇宙评论区与主播互动
    23 min

About Seventy3

From the publisher's feed

73播客,Sheldon最喜欢的数字,内容均为Google NotebookLM原生生成,每天由AI领读最新的前沿论文。欢迎投稿合作。