AI智识录

本次分享内容来自Gemini 3 Flash模型发布后的2025年12月19日，Google AI的几位核心人物——DeepMind研究副总裁Oriol Vinyals、谷歌首席科学家Jeff Dean和Noam Shazeer，以及Google AI Studio产品负责人Logan Kilpatrick的一次同台对谈。地址：x.com 

主要内容：

1. Gemini 项目的起源与团队融合

• 统一战线： Jeff Dean 提到 Gemini 起源于对 Google 内部资源碎片化的观察。为了集中算力和顶尖人才，Google 将原有的 Brain 团队和 DeepMind 合并，形成了统一的 Gemini 团队。
• 文化互补： 团队结合了 Brain 团队“自下而上”的创新风格与 DeepMind 针对宏大目标（如 AlphaFold）“自上而下”的严谨执行力。

2. Gemini 3 的核心技术逻辑

• “双重按钮”： 成功的秘诀在于同时加大预训练（Pre-training）和后训练（Post-training）的投入。
• 蒸馏技术（Distillation）： Gemini 3 Flash 的成功很大程度上归功于完美的蒸馏技术，使得较小的模型能达到甚至超越前代 Pro 模型的智能水平。
• 全栈优势： Google 自研的 TPU 基础设施是支撑 Gemini 大规模训练与低延迟推理的关键，解决了算力瓶颈。

3. 突破性进展：从基础到竞赛级智能

• 可验证领域的飞跃： 负责人指出，在数学（IMO 金牌）和编程等“可验证领域”，通过强化学习（RL）和后训练，模型取得了惊人的进步。
• 延迟即质量： Jeff 强调低延迟对用户体验至关重要。Flash 模型通过架构优化实现了极速响应，这不仅提升了用户留存，也为未来的机器人控制奠定了基础。

4. 未来五年：迈向 AGI 的关键路径

• 持续学习（Continual Learning）： 现有的模型在部署后权重即冻结。Oriol 认为未来的模型应该像人类一样，在交互中持续学习和进化。
• 超越“预测下一个词”： Jeff 提出目前的预训练效率较低（人类只需 10 亿 token 就能变得聪明，而模型需要数万亿）。未来研究将探索让模型在环境中通过“采取行动并观察结果”来学习，而非仅仅是被动地流式读取数据。
• 长上下文（Long Context）： 团队正在探索如何让用户感知到“无限”的上下文，使模型能够同时处理和理解互联网规模的数据或海量视频。

在小宇宙查看该单集文稿

本次内容是Andrej Karpathy对2025年AI行业的年度盘点。

原文地址：https://karpathy.bearblog.dev/year-in-review-2025/

主要内容：

• 可验证奖励的强化学习（RLVR）
• 「召唤幽灵」vs「培育动物」/ 参差不齐的智能：探讨了即使在所有基准测试都表现出色，也可能未实现 AGI 的情况。
• Cursor / LLM 应用的新层级
• Claude Code / 住在你电脑里的 AI
• 氛围编程（Vibe Coding）
• Nano Banana / LLM 的图形界面

插图：

在小宇宙查看该单集文稿

看到一位印度的AI工程师Manthan Gupta 通过逆向工程拆解了 ChatGPT 的记忆功能。（原文地址：manthanguptaa.in ）

你会发现大道至简，作为大家公认实现得相对较好的记忆系统，ChatGPT没有用 RAG，而且就几层大家都能想到的信息一起输入：

1.会话元数据：时间、设备、是否付费、活跃度等等

2.当前会话窗口的最新会话和所有历史会话记录（超 token 限制的话截断）

3.跨会话窗口的 15 条左右历史会话摘要，只总结用户提问，不总结模型回答

4.user profile 级别的全局记忆，大概几十条，按照特定要求记录的用户姓名职业兴趣等长期事实，或者用户明确要求记录的东西

以下是原文的详细翻译：

我逆向工程了 ChatGPT 的记忆系统，这是我的发现！

作者：Manthan Gupta | 日期：2025年12月9日

当我询问 ChatGPT 记得关于我的什么信息时，它列出了 33 件事，从我的名字、职业目标到目前的健身习惯。它是如何存储和检索这些信息的？为什么感觉如此无缝？

经过大量的实验，我发现 ChatGPT 的记忆系统比我预期的要简单得多。没有向量数据库。没有基于对话历史的 RAG（检索增强生成）。

相反，它使用了四个独特的层级：适应你环境的会话元数据、长期存储的显式事实、近期聊天的轻量级摘要以及当前对话的滑动窗口。

这篇博客将详细拆解每一层是如何工作的，以及为什么这种方法可能优于传统的检索系统。这里的所有内容都来自于通过对话逆向工程 ChatGPT 的行为。OpenAI 并没有公开这些实现细节。

ChatGPT 的上下文结构 (Context Structure)

在理解记忆之前，重要的是要理解 ChatGPT 在处理每一条消息时接收到的完整上下文。结构如下：

• [0] 系统指令 (System Instructions)
• [1] 开发者指令 (Developer Instructions)
• [2] 会话元数据 (Session Metadata)（临时性的）
• [3] 用户记忆 (User Memory)（长期事实）
• [4] 近期对话摘要 (Recent Conversations Summary)（过去的聊天，标题 + 片段）
• [5] 当前会话消息 (Current Session Messages)（本次聊天）
• [6] 你最新的消息

前两个组件定义了高层行为和安全规则，不是本博客的重点。有趣的部分从会话元数据开始。

会话元数据 (Session Metadata)

这些细节在会话开始时注入一次。它们不会被永久存储，也不会成为长期记忆的一部分。这一块包括：

• 设备类型（桌面/移动端）
• 浏览器 + 用户代理 (User agent)
• 大致位置/时区
• 订阅等级
• 使用模式和活动频率
• 近期模型使用分布
• 屏幕尺寸、深色模式状态、JS 启用状态等

会话元数据的示例：

Plaintext

Session Metadata:- User subscription: ChatGPT Go- Device: Desktop browser- Browser user-agent: Chrome on macOS (Intel)- Approximate location: India (may be VPN)- Local time: ~16:00- Account age: ~157 weeks- Recent activity:- Active 1 day in the last 1- Active 5 days in the last 7- Active 18 days in the last 30- Conversation patterns:- Average conversation depth: ~14.8 messages- Average user message length: ~4057 characters- Model usage distribution:* 5% gpt-5.1* 49% gpt-5* 17% gpt-4o* 6% gpt-5-a-t-mini* etc.- Device environment:- JS enabled- Dark mode enabled- Screen size: 900x1440- Page viewport: 812x1440- Device pixel ratio: 2.0- Session duration so far: ~1100 seconds

这些信息帮助模型根据你的环境调整回答，但在会话结束后，这些信息都不会保留。

用户记忆 (User Memory)

ChatGPT 有一个专门的工具用来存储和删除关于用户的稳定的、长期的事实。这些是数周和数月积累下来的片段，形成了一个持久的“档案”。

在我的例子中，模型存储了 33 个事实——比如：

• 我的名字、年龄
• 职业目标
• 背景和过去的职位
• 当前项目
• 我正在研究的领域
• 健身习惯
• 个人偏好
• 长期兴趣

这些不是猜测出来的；只有在以下情况时它们才会被显式存储：

1. 用户说“记住这个”或“把这个存入记忆”；或者
2. 模型检测到一个符合 OpenAI 标准的事实（如你的名字、职位或陈述的偏好），并且用户通过对话隐含地同意了。

这些记忆作为一个单独的块被注入到每一个未来的提示词 (Prompt) 中。

如果你想添加或删除任何内容，只需说：

• “把这个存入记忆……”
• “从记忆中删除这个……”

示例：

• 用户的名字是 Manthan Gupta。
• 曾在 Merkle Science 和 Qoohoo (YC W23) 工作。
• 偏好通过视频、论文和动手实践混合的方式学习。
• 构建了 TigerDB, CricLang, Load Balancer, FitMe。
• 正在研究现代信息检索系统 (LDA, BM25, 混合检索, 稠密嵌入, FAISS, RRF, LLM 重排序)。

近期对话摘要 (Recent Conversations Summary)

这一部分最让我惊讶，因为我原以为 ChatGPT 会在过去的对话中使用某种 RAG。结果它使用的是一个轻量级摘要。

ChatGPT 按照这种格式保留了一份近期对话摘要的列表：

1. <时间戳>: <聊天标题> |||| 用户消息片段 |||| |||| 用户消息片段 ||||

观察：

• 它只总结我的消息，不总结助手的。
• 大约有 15 个摘要可用。
• 它们充当了我近期兴趣的粗略地图，而不是详细的上下文。

这个块让 ChatGPT 在不拉取完整记录的情况下，拥有跨聊天的连续感。

传统的 RAG 系统需要：

• 嵌入 (Embedding) 每一条过去的消息
• 对每个查询运行相似性搜索
• 拉取完整的消息上下文
• 更高的延迟和 Token 成本

ChatGPT 的方法更简单：预计算轻量级摘要并直接注入。这是用详细的上下文换取速度和效率。

当前会话消息 (Current Session Messages)

这是目前对话的常规滑动窗口。它包含本次会话中交换的所有消息的完整历史记录（未摘要）。

我无法从 ChatGPT 那里套出确切的 Token 限制，但它确实确认了：

• 上限基于 Token 数量，而不是消息条数。
• 一旦达到限制，当前会话中较旧的消息会被移出（但记忆事实和对话摘要保留）。
• 这个块中的所有内容都逐字传递给模型，保持完整的对话上下文。

这就是允许助手在一次会话中连贯推理的原因。

这一切是如何协同工作的

当你向 ChatGPT 发送消息时，会发生以下情况：

1. 会话开始：会话元数据被注入一次，给 ChatGPT 提供关于你的设备、订阅和使用模式的上下文。
2. 每一条消息：你存储的记忆事实（我这里是 33 条）总是包含在内，确保回答符合你的偏好和背景。
3. 跨聊天感知：近期对话摘要提供了你兴趣的轻量级地图，而无需拉取完整的记录。
4. 当前上下文：当前会话消息的滑动窗口保持对话内的连贯性。
5. Token 预算：随着会话增长，旧消息会被移出，但你的记忆事实和对话摘要保留，保持连续性。

这种分层方法意味着 ChatGPT 可以让人感觉是个性化且具有上下文感知的，而没有搜索成千上万条过去消息的计算成本。

结论

ChatGPT 的记忆系统是一个多层架构，平衡了个性化、性能和 Token 效率。通过结合临时的会话元数据、显式的长期事实、轻量级对话摘要和当前消息的滑动窗口，ChatGPT 实现了一些了不起的事情：它让人感觉个性化且具有上下文感知，却没有传统 RAG 系统的计算开销。

这里的关键洞察是，并非所有东西都需要成为传统意义上的“记忆”。

• 会话元数据实时适应你的环境。
• 显式事实跨会话持久存在。
• 对话摘要提供没有细节的连续性。
• 当前会话保持连贯性。

这些动态组件结合在一起——随着会话进行和你的偏好演变而更新——创造了一个真正了解你的系统的错觉。

对于用户来说，这意味着 ChatGPT 随着时间的推移会感觉越来越个性化，而无需显式的知识库管理。对于开发者来说，这是实用工程的一课：有时更简单、更精心策划的方法胜过复杂的检索系统，尤其是当你控制整个流程时。

权衡是显而易见的：ChatGPT 牺牲了详细的历史背景来换取速度和效率。但对于大多数对话来说，这正是恰当的平衡。系统记住了重要的事情（你的偏好、目标和近期兴趣），同时保持快速和响应灵敏。

(注：本博文基于通过对话进行的实验和逆向工程，非官方文档——请辩证看待。)

在小宇宙查看该单集文稿

OpenAI成立十周年之际，Sam Altman 写了一封公开信《Ten Years》

原文链接：https://openai.com/index/ten-years/

在小宇宙查看该单集文稿

Manus一直是我们构建AI Agent道路上的好老师，2025年10月Manus的首席科学家Peak Ji（季逸超）和LangChain的创始工程师Lance之间进行了一次深度交流，他们系统性地梳理了上下文工程的核心概念、主流技术框架，并深入分享了Manus AI在构建生产级AI Agent 过程中的前沿实践、创新方法和核心开发哲学。

完整视频链接：bilibili.com

核心要点

• 上下文工程是为解决AI Agent在长时间自主运行中产生的“上下文爆炸”和“上下文腐烂”问题而生的核心学科，其重要性远超传统的提示工程。
• 分层缩减策略：Manus AI采用一种精细化的两阶段上下文缩减策略，优先使用无损、可逆的“紧凑化”（Compaction），仅在必要时才采用有损、不可逆但基于结构化模式（Schema）的“总结”（Summarization）。
• 创新的分层动作空间：为解决工具过载问题，Manus AI设计了三层动作空间：少量核心原子函数、通过Shell访问的沙箱实用程序、以及用于复杂计算的脚本与API。此举在保持核心接口简洁的同时，实现了近乎无限的能力扩展。
• 两种Multi-Agent协作模式：根据任务特性，Manus AI采用两种不同的Multi-Agent隔离与通信模式：“通过通信来共享内存”（适用于简单、独立的子任务）和“通过共享内存来通信”（适用于需要完整历史背景的复杂任务）。
• 结构化输出是稳定性的基石：无论是在上下文总结还是Agent 间通信中，Manus AI都广泛使用结构化输出（Schema）作为“契约”，以确保信息传递的稳定、完整和无损。
• 核心开发哲学——“少构建，多理解”：报告强调，最高效的Agent 架构源于简化而非复杂化。开发者应避免过度工程，更多地信任并理解模型本身，通过简化架构来构建更稳定、更智能的系统。

在小宇宙查看该单集文稿

从prompt工程、到MCP、到Context 工程、再到最近的subagents和claude skills，这两年AI工程领域的新词新概念频出，有时候不反应一下都不知道对方跟自己在聊的是不是同一件事、同一个概念。

Anthropic（Claude）官方11月出炉的长文：《Skills explained: How Skills compares to prompts, Projects, MCP, and subagents》，可以说非常系统明白地解释了上面提到的大部分概念。

原文链接：claude.com

要点

• 五大组件：Claude的生态系统由五个核心且互补的构建块构成——提示（Prompts）、技能（Skills）、项目（Projects）、子代理（Subagents）和模型上下文协议（MCP），它们共同支持从简单交互到复杂自动化工作流的构建。
• 知识的分离与应用：明确区分了两种核心知识类型。Projects提供“需要知道什么”的持久性背景知识（静态参考资料），而Skills则提供“应该如何做”的程序化知识（动态方法论）。
• 渐进式披露：Skills采用“渐进式披露”机制，按需加载元数据、指令和资源，有效管理上下文窗口，允许用户构建大量可用技能而不影响性能。
• 子任务：Subagents作为独立的“专家雇员”，拥有自己的上下文和工具权限，用于处理高度专业化的子任务，实现任务委派、并行处理和权限管理，从而提升工作流的深度与效率。
• 连接外部世界：模型上下文协议（MCP）是一个开放标准，充当“万能适配器”，使Claude能够安全、标准化地连接并操作Google Drive、数据库、GitHub等外部数据源和业务工具，打破信息孤岛。
• 协同的力量：这些构建块并非相互替代，其最大价值在于协同作用。用户可通过Prompts触发任务，在Project的背景下，利用MCP获取数据，调用Skills的标准化流程，并分派Subagents执行专业分析，最终实现复杂目标的自动化。
  

在小宇宙查看该单集文稿

Google DeepMind 的联合创始人兼 CEO 戴米斯·哈萨比斯（Demis Hassabis）在12月初在旧金山 Axios AI 峰会上进行了一场深度访谈。作为刚刚获得诺贝尔奖的 AI 先驱，他对 AI 的现状、未来以及那些令人兴奋或担忧的议题，有着非常独特的见解。

访谈链接：https://www.youtube.com/watch?v=tDSDR7QILLg

本集内容是基于他核心观点的总结阐述。

在小宇宙查看该单集文稿

了解大模型行业的人应该知道，作为现代LLM基石的Transformer架构，其核心自注意力（Self-Attention）机制的计算复杂度与输入token序列长度（L）呈二次方关系（O(L²)），这构成了严峻的计算和显存瓶颈。当token序列长度加倍时，计算量和显存需求会增长约四倍，极大地限制了模型能够有效处理的上下文长度，成为制约技术发展的关键痛点。

DeepSeek最近发布了最新的V3.2模型及其技术报告，其中有一个非常值得关注的点在于他们将稀疏注意力机制正式应用到了模型训练中，提出了DeepSeek稀疏注意力（DeepSeek Sparse Attention, DSA github.com）

如果追根溯源的话，早在2025年2月 DeepSeek 团队就发表了一篇名为Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention的论文（arxiv.org），论文中提出了 NSA (Native Sparse Attention)，这是一种原生可训练的稀疏注意力机制。它通过“分层压缩”和“精细选择”策略，在保持全局上下文感知的同时，显著降低了长文本处理的计算成本。

在此理论基础之上，最近DeepSeek 在 DeepSeek-V3.2 模型中正式实装了这一机制，并将其命名为 DSA ，V3.2的技术报告中详细描述了 DSA 在 V3.2 中的具体工程实现，即使用 Lightning Indexer (闪电索引器) 来动态筛选 Token，将长上下文的计算复杂度从 O(L²) 降低到近似O(kL)。

如果你需要快速理解 DSA 是如何工作的，这里有一个简要总结：

• 痛点解决： 传统的注意力机制（Attention）需要让每个字都去“看”文中其他所有的字（全关注），字数一多计算量就爆炸（平方级增长）。
• DSA 的做法：
  1. 闪电索引 (Lightning Indexer)： 像是有一个快速的“图书管理员”，先粗略扫描一遍，找出哪些内容对当前的任务最重要。
  2. 动态稀疏 (Dynamic Sparsity)： 模型不再“全关注”，而是只精细计算那些被管理员选出来的、最重要的 Token（Top-k）。
  3. 效果： 极大地降低了长文本（Long Context）推理时的显存占用和计算时间，同时精度损失极小。

下面我们就基于这两份核心技术文档，对DSA机制进行深度解析，阐述其如何从理论创新（NSA）走向高效的工程实践（DSA），并最终在保持甚至超越全注意力模型性能的同时，实现了训练和推理效率的巨大飞跃。

在小宇宙查看该单集文稿

本次将为大家介绍的是 DeepSeek 团队最新开源的数学推理模型 DeepSeekMath-V2。该模型并非浅尝辄止之作，而是参数规模达 6850 亿的超大模型，其核心优势在于具备可自验证的数学推理能力，在复杂逻辑推导领域展现出突破性表现。​

在性能验证方面，DeepSeekMath-V2 的表现堪称卓越：其在 2025 年国际数学奥林匹克竞赛（IMO 2025）与 2024 年中国数学奥林匹克竞赛（CMO 2024）中均达成金牌级表现。尤为值得关注的是，在难度极高的 2024 年普特南数学竞赛（Putnam 2024）中，该模型以 120 分满分中的 118 分创下佳绩，大幅超越人类选手 90 分的最高得分纪录，展现出对人类顶尖选手的显著优势。​

此外，在代数、几何、数论、组合学、不等式等数学竞赛核心类别中，DeepSeekMath-V2 的综合表现均优于 GPT-5-Thinking-High 与 Gemini 2.5-Pro 等主流竞品。更具行业里程碑意义的是，该模型是全球首个实现 IMO 金牌级表现的开源模型，其权重已依据 Apache 2.0 许可证公开发布，为全球研究者提供了可自由探索的技术基座。那么，该模型的核心优势究竟体现在何处？其卓越性能背后又蕴含着怎样的技术逻辑？

论文链接：huggingface.co

在小宇宙查看该单集文稿

NeurIPS 2025 官方博客发布了2025年最佳论文奖（Best Paper Awards）公告。今年共有 7 篇获奖论文，其中包括 4 篇最佳论文（Best Papers，含一篇数据集与基准测试赛道）和 3 篇亚军论文（Runner-ups）。这些论文涵盖了扩散模型理论、自监督强化学习、大语言模型（LLM）的注意力机制、推理能力、在线学习理论、神经缩放定律（Neural Scaling Laws）以及语言模型多样性的基准测试等前沿领域。

原文链接：blog.neurips.cc

最佳论文奖 (Best Papers)

根据网页内容，以下四篇论文被详细列出并附带了评选委员会的评论，推测它们构成了今年的最佳论文阵容（包括主赛道和数据集赛道）：

• Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
  中文译名：人造蜂巢思维：语言模型的开放式同质化（及其他）
  赛道：数据集与基准测试（Datasets & Benchmark Track）
  核心内容：论文提出了一个名为 Infinity-Chat 的大规模数据集，包含2.6万个真实世界的开放式查询。研究发现，大语言模型（LLM）在生成内容时存在严重的“人造蜂巢思维”（Artificial Hivemind）效应，即模型内部的重复性以及不同模型之间输出的惊人相似性。这种同质化趋势引发了对人类思想被长期单一化影响的担忧。
  委员会评价：该工作对理解现代语言模型的多样性、多元化和社会影响做出了及时且实质性的贡献，揭示了当前奖励模型和自动化评审与人类偏好之间的校准偏差。
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
  中文译名：大语言模型的门控注意力：非线性、稀疏性与无注意力汇（Attention-Sink-Free）
  核心内容：研究团队在 Scaled Dot-Product Attention (SDPA) 后引入了一种简单的特定头部的 Sigmoid 门控机制。通过在 15B MoE 模型和 1.7B 稠密模型上的大量实验，证明这种改进能持续提升性能、训练稳定性和上下文扩展能力，并解决了“注意力汇”（attention sink）现象。
  委员会评价：该发现得到了大规模实验的支持，改进方法简单易行且效果显著，预计将被广泛采用。作者分享工业级算力下的研究成果也受到高度赞扬。
• 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
  中文译名：用于自监督强化学习的 1000 层网络：扩展深度可开启新的目标达成能力
  核心内容：论文挑战了强化学习（RL）只能用于浅层网络的传统观点。作者展示了通过自监督和对比强化学习，可以将网络深度扩展到 1000 层以上。在没有外部奖励或演示的情况下，更深的网络不仅提高了成功率，还涌现出了更复杂的行为能力。
  委员会评价：该工作提出了一种新颖且易于实施的 RL 范式，证明了 RL 可以随着网络深度的增加而有效扩展，打破了以往认为 RL 信号不足以指导极深网络的假设。
• Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
  中文译名：为什么扩散模型不会死记硬背：训练中隐式动态正则化的作用
  核心内容：研究探讨了扩散模型为何能生成新颖内容而不是简单记住训练数据。作者发现了两个不同的时间尺度：早期生成高质量样本的时间，以及后期出现记忆化的时间。研究表明，存在一种隐式动态正则化机制，使得模型在过参数化设置下也能避免死记硬背，保持泛化能力。
  委员会评价：该论文从理论和实验两方面深入剖析了生成模型的泛化机制，具有重要的理论价值。

在小宇宙查看该单集文稿