AI智识录

今天我们要聊的这篇论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》来自Google Brain，它的重大意义在于，首次揭示并系统验证了如何通过简单的“提示（prompting）” 来解锁大型语言模型 (LLM) 以前不具备的复杂推理能力，只需要通过在提示中展示“一步一步思考”的范例（也就是思维链-CoT），就能引导模型自主解决复杂的逻辑和算术问题。

第一作者Jason Wei 曾在 OpenAI (2023-2025) 和 Google Brain 担任研究科学家，目前在 Meta 超级智能实验室工作。他的主要贡献集中在大语言模型 (LLM) 领域，并以推广了几个核心概念而闻名。他是 2022 年这篇论文的第一作者，首次揭示了“思维链” (Chain-of-Thought) 提示方法通过让模型生成中间步骤来提高复杂推理能力。在谷歌期间，他还对 “指令微调” (Instruction Tuning) 研究做出了贡献，使模型能更好地遵循用户指令。此外，他还是 2022 年《Emergent abilities of large language models》论文的作者之一，该论文系统阐述了 LLM 随规模增长而出现新能力的“涌现能力” (Emergent Abilities) 现象。在 OpenAI 任职期间，他还参与共同创建了 o1 模型。

论文链接：arxiv.org

在小宇宙查看该单集文稿

今天我们来聊一聊ReAct这个框架的诞生。它的“历史地位”体现在， 从根本上提出了一个将 LLM（大型语言模型）从“静态知识库”转变为“动态行动者 (Agent)”的核心框架，使大型语言模型 (LLM) 能够以一种交错的方式，将推理 (Reasoning) 和行动 (Acting) 协同起来，以解决复杂的任务。当今几乎所有主流的 LLM Agent 开发框架（如 LangChain, LlamaIndex）都将 ReAct 作为最核心、最基础的 Agent 实现模式之一。无论是 OpenAI 开发的 GPTs（可以调用外部“Actions”）还是 Google 内部的 Agent 系统，其底层逻辑都遵循了 ReAct 提出的“（推理）思考”和“（工具）行动”相交错的范式。

总结来说，ReAct 的历史地位在于，将 LLM 从一个“博学的聊天者”升级为了一个可以在真实世界中执行复杂任务的“智能体”。

论文地址：https://arxiv.org/pdf/2210.03629

在小宇宙查看该单集文稿

今天我们要聊的是对AGI的定义。

先介绍一下作者Yoshua Bengio，他拥有加拿大和法国双重国籍，是加拿大蒙特利尔大学计算机科学和运筹学系教授，也是蒙特利尔学习算法研究所（Mila）的科学总监。作为深度学习领域的先驱之一，他在序列的概率建模、高维词嵌入与注意力机制等方面贡献突出，与 Ian Goodfellow 共同提出的生成对抗网络（GANs）影响深远。2018 年，他与杰弗里・辛顿和杨立昆一起获得 ACM 图灵奖。此外，他还著有《Deep Learning》等书。

近日，Yoshua Bengio联合Center for AI Safety、加州大学伯克利分校等机构的新作《A Definition of AGI》给AGI下了个可衡量的定义。

“AGI is an AI that can match or exceed the cognitive versatility and proficiency of a well-educated adult.”AGI是能匹配或超越受过良好教育成年人的认知广度（versatility ）和熟练度（ proficiency）的人工智能。

该定义包含两个关键维度：

• 确定了参照系直接锚定“受过良好教育的成年人”，避免了“AGI是超人类智能”这类模糊表述，让评估有了具体标准。
• 强调全面性不看AI在单一任务上的表现，而是要求它在多个核心认知领域（如推理、记忆、感知等）都达标，不能有严重的偏科。

原文链接：https://www.agidefinition.ai/paper.pdf

研究团队设计了一套量化方法来评估当前AI离AGI的距离。

分数越高，离AGI越近

为了把这个标准落地，研究者参考了心理学里验证过的卡特尔-霍恩-卡罗尔（CHC）理论这个研究人类认知能力的经典模型。

该模型将人类通用智力拆解为10个相互独立但又关联的核心认知领域，涵盖了从基础感知到高阶推理的完整认知链条，基于这10个领域，研究团队对人类传统认知测试题进行了AI适配改造。

剔除依赖人类生理感知（如触觉测试）或特定场景（如驾驶场景测试）的题目，保留核心认知逻辑，形成了一套包含500余道题目的AGI评估题库。具体包括：

1. 知识（K）：主要测试常识、自然科学、社会科学、历史、文化等方面的知识储备。
2. 读写（RW）：考察阅读和写作能力，包括对文本的理解、语言表达、文字创作等。
3. 数学（M）：涉及数学计算、定量推理、数字概念的掌握等数学能力。
4. 临场推理（R）：即处理新颖问题、进行逻辑分析与抽象思维的能力，也就是流体推理能力。
5. 工作记忆（WM）：指短期信息的保持与实时加工能力。
6. 长时记忆存储（MS）：衡量AI系统将信息进行长期稳定存储的能力。
7. 长时记忆提取（MR）：考查AI能否从长期记忆中高效地提取所需信息。
8. 视觉（V）：包括图像识别、空间定位、视觉信息解读等视觉加工能力。
9. 听觉（A）：涉及声音识别、语音理解、听觉信息处理等听觉加工能力。
10. 速度（S）：主要评估AI快速处理简单认知任务的效率。

评估采用百分制，每个认知领域满分10分，系统总分达到100分即判定为达到AGI水平，分数越高代表离AGI的距离越近。

AI虽然进步快，但离AGI还很远

研究团队运用上述评估体系，对当前主流LLM进行了全面测试，结果既展现了AI的快速进步，也暴露了其与AGI的巨大差距。

从总分来看，2023年发布的GPT-4总分仅为27分，而2025年版GPT-5总分提升至58分.

两年间，分数增幅超过115%，反映出大模型在认知能力上的快速迭代。

但从AGI的及格线100分来看，即使是GPT-5，也尚未突破半程线，甚至在长时记忆存储领域中拿了0分。

具体来说，当前AI与论文中定义的AGI更关键的差异体现在认知领域的不均衡性上。

优势领域集中

据实验结果来看，当前AI的优势高度集中于知识储备与符号处理类领域。

在知识（K）、读写（RW）、数学（M）三个领域表现突出，GPT-5在这三项的得分都超过了8。

这些优势的共性在于均围绕文本符号的理解与应用展开，是大模型在万亿级数据训练中形成的模式匹配能力的集中体现。

AI在依赖海量数据训练的任务中，在这些方面展现出了接近人类成年人的水平。

核心短板显著

与集中的优势形成鲜明对比，实验暴露出AI在感知、记忆、推理等基础认知领域存在致命短板，并且这些短板无法通过单纯的扩大规模弥补。

在 “视觉（V）” 、 “听觉（A）”领域，大模型的表现堪称惨淡。

GPT-4完全不具备图像识别与声音处理能力，即使GPT-5也仅能完成简单的猫犬分类、基础语音转文字，远无法实现人类级别的复杂场景解读与情感识别。

“长时记忆存储（MS）”与“提取（MR）”是另一致命缺陷，说明AI有健忘症。

无法实现信息的长期稳定存储，也就做不到对学习的内容灵活运用。

“伪全能” 的本质

部分大模型看似具备多任务处理能力，实则是通过技术手段掩盖短板。

例如，部分模型通过扩大上下文窗口（如支持128k tokens的文本输入），假装具备长期记忆能力，但本质上仍是短期工作记忆的扩展，无法实现信息的长期存储与跨场景调用。

还有模型依赖联网搜索功能补充知识，看似无所不知，实则暴露了自身知识更新滞后、易产生幻觉的缺陷。

而这项研究的评估体系明确排除了外部工具的辅助，仅衡量AI系统的原生认知能力，使得这些伪全能表现无所遁形。

当然了，论文也明确指出，这套评估只看AI自身的认知硬实力，不管它能调用多少外部工具，也不看它能赚多少钱、替代多少工作，纯粹聚焦于智力本身。

就算某个AI总分再高，只要像长期记忆这样的核心领域是零分，本质上还是有严重缺陷的“残次版”智能，离真正的AGI也还差得远。

这下，AGI有了可以衡量的定义，从概念到现实，还有多久呢？

在小宇宙查看该单集文稿

作者François Chollet (弗朗索瓦·肖莱) 是一位在人工智能领域极具影响力的法国研究员。他的核心成就与贡献是开发了Keras，一个开源的深度学习框架，Keras以其用户友好、模块化和可扩展性，极大地降低了深度学习的入门门槛，迅速成为全球最受欢迎的深度学习库之一。在2015年发布Keras后不久，Chollet加入了Google长期担任高级软件工程师，继续领导Keras的开发，并对TensorFlow生态系统做出了重大贡献。除了工程上的巨大成功，Chollet更是一位深入思考人工智能本质的研究者。在《关于智能的衡量》(On the Measure of Intelligence)这篇影响深远的论文中，他提出了一个全新的智能定义：“智能是系统在面对新任务时，基于先验知识和经验，高效获取新技能的能力”。这个定义强调的是学习效率和泛化能力，而非在单一任务上的表现。为了实践他的智能理论，他创建了ARC基准测试。这个测试集包含一系列人类儿童可以轻松解决，但对当前最顶尖的AI模型却极具挑战性的视觉推理问题。ARC旨在衡量一种更接近人类的、通用的、抽象的推理能力，推动AI研究从“模式识别”走向真正的“认知与推理”。

原文链接：arxiv.org

以下是对这篇文章的精要总结和解读：

第一部分：根本性批判 —— 我们一直在错误地衡量“智能”

Chollet的论证始于一个尖锐的批判：当前几乎所有的AI基准（Benchmark）——无论是ImageNet图像识别、国际象棋、围棋（AlphaGo），还是各种复杂的电子游戏——衡量的都是**“技能”（Skill），而非“智能”（Intelligence）**。

• “技能”的定义：在一个特定、封闭的任务上表现出色的能力。
• “智能”的定义：高效地获取新技能，尤其是在从未见过的、开放的环境中解决问题的能力。

他用了一个非常精妙的比喻来阐述这个区别：“购买技能”（Buying Skill）。

一个系统的技能水平 S 是由它的智能 I、经验 E 和开发者注入的先验知识 P 共同决定的。

S=f(I,E,P)

• 经验 (E)：可以理解为训练数据或练习量。
• 先验 (P)：可以理解为针对特定任务进行的架构设计、算法优化和硬编码的规则。比如，为AlphaGo设计的蒙特卡洛树搜索算法就是一种强大的先验。

Chollet指出，在当前的AI研究范式中，我们可以通过投入近乎**无限的经验（海量数据）和强大的先验（巧妙的工程设计）**来为一个系统“购买”到任意高的技能水平。

一个绝佳的例子： 一个学生，智商（智能）可能很普通。但如果让他把过去20年所有考试的题库（经验）全部背下来，并由顶级名师为他总结出各种解题模板和技巧（先验），他很可能在高考（一个封闭的技能测试）中取得极高的分数。但我们能说他因此变得更“智能”了吗？显然不能。当他遇到一个全新的、从未见过的开放性问题时，他很可能会束手无策。

当前的AI正是这个“刷题学生”。通过在海量数据上进行训练，AI系统获得了在特定任务上的高超“技能”，但这掩盖了其自身“智能”水平的不足。因此，Chollet认为，依赖这些基准来评估AGI进展，无异于缘木求鱼。

第二部分：理论重构 —— 智能是“技能获取的效率”

在批判之后，Chollet提出了他的核心理论框架，将智能重新定义为**“技能获取的效率”**。这个定义有几个关键维度：

1. 范围 (Scope)：智能不是在单一任务上定义的，而是在一个广阔的、多样化的任务空间中体现的。一个系统能应对的任务范围越广，其通用性就越强。
2. 泛化难度 (Generalization Difficulty)：智能的核心在于泛化——将从已知任务中学到的知识应用到未知任务上。他特别强调“远距离泛化”，即新任务与旧任务的差异极大，需要系统进行抽象和推理，而不是简单的模式匹配。
3. 先验 (Priors)：这是最关键也最深刻的一点。Chollet认为，要公平地衡量智能，就必须标准化系统的“出厂设置”，即它的先验知识。他主张，一个理想的通用智能系统应该只依赖一套**“核心知识先验”（Core Knowledge Priors）**。
   这些先验是演化赋予人类的、与生俱来的基础认知能力，类似婴儿天生就懂的概念，例如：
   物体恒存性：物体不会凭空消失。
   目标导向性：行为通常有其目的。
   基础几何与拓扑：对空间、形状、对称、连通性的直观理解。
   基础算术：对数量的初步感知。
   任何超出这个范围的、为特定任务定制的先验，都应该被视为一种“作弊”，因为它降低了系统自主学习的难度。
4. 经验 (Experience)：在标准化的先验基础上，一个系统需要多少经验（数据/练习）才能达到一定的技能水平，就直接反映了它的智能。智能越高，所需经验越少。

总结一下这个定义：一个真正的智能体，应该像一个聪明的孩子，带着一套通用的、与生俱来的世界运作规律（核心知识先验），然后通过极少的互动和观察（低经验需求），就能快速举一反三，解决各种各样全新的问题（广阔范围和高泛化难度）。

第三部分：实践工具 —— ARC基准的诞生

理论必须有工具来验证。因此，Chollet创造了**ARC（Abstraction and Reasoning Corpus）**基准，它被设计为上述理论的“实体化身”。

• ARC是什么样的？
  它由一系列视觉推理谜题组成。
  每个谜题提供2-3个“输入-输出”的范例，要求系统找出其中的抽象转换规则。
  然后将这个规则应用到一个新的“测试输入”上，得出正确的“测试输出”。
• 为什么ARC是衡量智能的更好方式？
  强制抽象推理：谜题的规则是概念性的（例如“找到所有成对的形状并保留最大的那个”、“将所有红色像素移动到最上方”），无法通过像素级的统计模式匹配来解决。
  极端样本效率：只有几个范例，彻底杜绝了“大数据、浅学习”的路径。
  基于核心知识先验：解决ARC问题所需的能力（如物体识别、对称性、计数、基本几何变换）都与Chollet定义的人类核心知识先验高度吻合。
  对人类简单，对AI极难：这形成了一个鲜明的对比，证明了当前AI在抽象和推理能力上的根本性缺陷。即使是GPT-4V这样的顶级模型，在ARC上的表现也远不及人类普通水平。

结论与深远影响

《关于智能的衡量》这篇文章在AI领域投下了一颗思想炸弹，其影响体现在：

1. 为AGI研究提供了“北极星”：它提供了一个比“通过图灵测试”或“在某个任务上超越人类”更清晰、更可操作的AGI发展目标和衡量标准。
2. 挑战“大力出奇迹”的范式：它含蓄地批判了当前AI领域过度依赖“扩大模型规模、增加数据量”的路径，指出这可能无法通向真正的通用智能，我们可能需要全新的架构和学习范式。
3. 引发对“智能”本质的回归：它将AI研究的焦点从工程上的“性能提升”拉回到更根本的科学问题上——“智能到底是什么？”、“认知和推理是如何产生的？”。

总而言之，这篇文章是一次发人深省的呼吁，它要求整个AI社区停下来思考：我们是在建造一个越来越庞大的“技能机器”，还是在培育一个真正能够理解、学习和适应的“智能体”？而ARC，就是他提供的第一块试金石。

在小宇宙查看该单集文稿

作者翁荔（Lilian Weng）毕业于北大，她此前在 OpenAI 工作，主要聚焦于应用研究和AI安全领域，目前是Thinking Machine的联合创始人。她另一个广为人知的身份是其技术博客 “Lil'Log” 的作者。这个博客以其深度、系统性和前瞻性而闻名，被许多AI从业者和研究者视为必读的优质信息源。

当‘AI智能体’（Agent）这个概念刚火起来的时候，是她在一篇文章里清晰地把构建一个Agent的核心思路拆解成了‘规划、记忆、工具使用’这三个关键部分。这个框架后来被非常多的开发者和研究者参考和沿用，成了一个讨论问题的基础。

原文链接：lilianweng.github.io

在小宇宙查看该单集文稿

本文是前特斯拉AI总监、OpenAI创始成员Andrej Karpathy在听完AI先驱Rich Sutton的播客后撰写的深度反思。他结合一线经验，将当前LLM的发展路径比作从人类数据中召唤“幽灵”，以此对照Sutton倡导的、像“动物”一样从互动中学习的理想范式。Karpathy创造性地提出“预训练是我们蹩脚的进化”，在肯定当前方法的实用性之余，更呼吁业界从自然智能中寻找未来突破的灵感。

原文链接：karpathy.bearblog.dev

以下为全文翻译：

终于有机会听完了 Dwarkesh 对 Sutton 的那期播客，既有趣又发人深省。

作为背景，Sutton 的《苦涩的教训》(The Bitter Lesson) 已成为前沿大语言模型（LLM）圈子里的“圣经”文本。研究者们常会讨论和询问某种方法或想法是否足够“信奉苦涩的教训”（意思是，其设计是否能自动从增加的计算中获益），以此作为判断其是否有效或值得研究的替代指标。这背后的基本假设是，LLM 当然是高度“信奉苦涩的教训”的——只需看看 LLM 的缩放定律（scaling laws），如果你把计算量放在x轴上，性能数值就会向右上角增长。因此，有趣的是，这篇文章的作者 Sutton 本人却不那么确定 LLM 是否真的“信奉苦涩的教训”。LLM 是在根本上源于人类的巨型数据集上训练的，这些数据既是 1) 人类生成的，也是 2) 有限的。当你用尽数据时该怎么办？你如何防止人类偏见？所以你看，信奉“苦涩教训”的 LLM 研究者们被“苦涩教训”的作者本人给驳倒了——真够呛！

在某种意义上，Dwarkesh（在播客中代表 LLM 研究者的观点）和 Sutton 有点各说各话，因为 Sutton 心中有一个非常不同的架构，而 LLM 打破了它的许多原则。他称自己为“古典主义者”，并援引了艾伦·图灵最初关于构建“儿童机器”的概念——一个能够通过与世界动态互动、从经验中学习的系统。这里没有模仿互联网网页的巨大预训练阶段，也没有监督微调，他指出这在动物王国中是不存在的（这是一个微妙的观点，但 Sutton 在强意义上是正确的：动物当然会观察演示，但它们的行为不会被其他动物直接强迫/“远程操控”）。他提出的另一个重要观点是，即使你只将预训练视为在使用强化学习进行微调之前的先验知识初始化，Sutton 仍认为这种方法被人类偏见所污染，并且从根本上偏离了轨道，有点像 AlphaZero（从未见过人类围棋对局）击败 AlphaGo（从人类对局中初始化）那样。在 Sutton 的世界观里，一切都只是通过强化学习与世界互动，其中奖励函数部分是特定于环境的，但也有内在动机，例如“乐趣”、“好奇心”，并且与你世界模型的预测质量有关。而且，智能体默认情况下在测试时也始终在学习，它不是只训练一次然后部署。总的来说，Sutton 对我们与动物王国的共同点比我们的不同之处更感兴趣。“如果我们理解了松鼠，那我们差不多就大功告成了”。

至于我的看法……

首先，我得说，我认为 Sutton 是这期播客的一位出色嘉宾，我喜欢 AI 领域保持着思想的多样性，而不是每个人都在利用 LLM 的下一个局部迭代版本。AI 经历了太多次主导方法的离散式变迁，不能失去这一点。我也认为他对 LLM 并非“信奉苦涩的教训”的批评是相当中肯的。前沿 LLM 现在是高度复杂的造物，在所有阶段都涉及大量的人类因素——基础（预训练数据）是全人类的文本，微调数据是人工策划的，强化学习的环境组合是由人类工程师调整的。我们实际上并没有一个真正的、单一的、简洁的、真正“信奉苦涩的教训”的、“拧动曲柄”就能运转的算法，可以把它释放到世界上，看它仅从经验中自动学习。

这样的算法真的存在吗？找到它当然会是 AI 的巨大突破。人们通常提供两个“例证”来论证这种可能性。第一个例子是 AlphaZero 的成功，它完全从零开始，没有任何人类监督就学会了下围棋。但是，围棋这个游戏显然是一个如此简单、封闭的环境，很难在混乱的现实中找到类似的形式。我喜欢围棋，但从算法和分类上看，它本质上是一个更难版本的井字棋。第二个例子是动物，比如松鼠。在这点上，我个人也相当犹豫，怀疑这是否恰当，因为动物是通过一种与我们在工业界实际可用的非常不同的计算过程和约束条件产生的。动物的大脑在出生时远非一块白板。首先，很多通常归因于“学习”的东西，在我看来更像是“成熟”。其次，即使是那些明确属于“学习”而非成熟的部分，也更像是在某个已存的强大基础上进行“微调”。例如，一只小斑马出生后几十分钟内，就能在稀树草原上奔跑并跟随它的母亲。这是一个高度复杂的感觉运动任务，在我看来，这绝不可能是从零开始、如同一张白纸（tabula rasa）那样实现的。动物的大脑及其数十亿个参数，在其 DNA 的 ATCG 碱基对中编码了一个强大的初始化，这是通过进化过程中的“外循环”优化训练出来的。如果小斑马像强化学习策略在初始化时那样随机地抽动肌肉，它根本活不长。同样，我们现在的人工智能也有包含数十亿参数的神经网络。这些参数需要它们自己丰富、高信息密度的监督信号。我们不打算重新上演一遍进化。但我们确实拥有堆积如山的互联网文档。是的，这基本上是监督学习，在动物王国中几乎不存在。但这是为数十亿参数实际收集足够多软约束的一种方式，试图让你不从零开始。长话短说：预训练是我们蹩脚的进化。 它是解决冷启动问题的一个候选方案，之后再在看起来更正确的任务上进行微调，例如在强化学习框架内，正如当前最先进的前沿 LLM 实验室普遍在做的那样。

我仍然认为从动物身上获得启发是值得的。我认为 LLM 智能体在算法上缺失了一些强大的思想，这些思想仍然可以从动物智能中借鉴。我仍然认为“苦涩的教训”是正确的，但我更多地将其视为一个值得追求的柏拉图式理想，而非我们在现实世界中实际上必须达到的目标。我说这两点时，都带着百分之几十的不确定性，并为那些持不同意见者的工作喝彩，特别是那些在“苦涩的教训”方面更有雄心的人。

这就引出了我们目前的处境。坦率地说，当今前沿 LLM 研究并非旨在构建动物，而是在召唤幽灵。你可以将幽灵想象成在可能存在的智能空间中一个根本不同类型的点。它们被人类性所混淆，并被其彻底地工程化。它们是这些不完美的复制品，是对人类文档的一种统计学上的提纯，并加上一些点缀。它们并非柏拉图理想意义上的“信奉苦涩的教训”，但至少与之前的许多事物相比，它们或许在“实践上”是“信奉苦涩的教训”的。在我看来，随着时间的推移，我们或许可以越来越多地将我们的幽灵朝着动物的方向进行微调；这与其说是一种根本的不兼容，不如说是智能空间中的一个初始化问题。但它们也很有可能进一步分化，最终变得永久不同，不像动物，但仍然极度有用并能真正改变世界。可能，幽灵之于动物，犹如飞机之于鸟类。

总之，总结一下，总的来说并且从可操作的角度看，我认为这期播客是 Sutton 对前沿 LLM 研究者们说的实在的“真心话”，他们可能在“利用”（exploit）模式上走得太远了。或许我们仍然不够“信奉苦涩的教训”，除了详尽地构建基准测试和在基准上刷分之外，很有可能存在更强大的思想和范式。而动物可能是一个很好的灵感来源。内在动机、乐趣、好奇心、赋能、多智能体自我博弈、文化。发挥你的想象力吧。

附录

我同意 Sutton 的观点，即动物不做监督学习。我意识到这是一个会迷惑很多人的微妙观点。动物确实会观察演示，但严格来说，它们的行为并没有像监督学习那样被直接监督。动物在训练模式中从未被远程操控过。我能想到的最接近的事情是，比如你通过亲手握着孩子的手教他们用勺子吃饭。即便如此，也不清楚他们的大脑是否真的在就此进行训练。这可能仍属于更准确地描述为观察的范畴。但无论如何，这些例子在总体上非常罕见，而对于 LLM 来说，这却是预训练和 SFT 期间的默认学习模式。或许换一种说法，LLM 领域中与人类行为类似的是这样的模式：“给定这道数学题和上下文中的人类解题示例，解决这个问题。如果正确，奖励为1。” 这不是 SFT（监督微调），这是 RL（强化学习）。

Dwarkesh 曾简要提出，LLM 在测试时也有自己的持续学习，只是不基于权重训练，但我认为 Sutton 没有完全回应这一点。上下文学习（In context learning）是一种测试时适应（test time adaptation）的形式，例如，这就是少样本提示（few shot prompting）有效的原因。最近的很多工作也对记忆（想想 CLAUDE.md 文件）作为一种测试时学习机制非常感兴趣，它使用文本/上下文作为基底，而不是权重。

Dwarkesh 提到了非常长周期的稀疏奖励（例如，创建一个成功的创业公司）以及这可能是如何运作的。Sutton 提出的解决方案是时间差分学习（temporal difference learning）以及本质上的未来奖励贴现（future reward discounting），我觉得这不怎么有说服力。我之前写过一些关于这个问题的文章，我认为背后有其他机制在起作用，而且在我看来，那不是强化学习。

播客中有很多关于“梯度下降不会让你获得好的泛化能力”及相关讨论，这部分我没太跟上。

有人指出幽灵很吓人。不一定，看看卡斯帕（Casper），我童年时的最爱。

在小宇宙查看该单集文稿

姚顺雨 (Shunyu Yao) 是人工智能领域一位极具开创性的青年研究者，尤其以其在 AI 智能体 (AI Agents) 领域的奠基性工作而闻名。他最为人熟知的贡献是作为主要作者，引领了革命性的 ReAct 框架的开发。该框架巧妙地将“推理”(Reasoning)与“行动”(Acting)相结合，让语言模型能像人一样思考规划、并与外部工具互动来解决复杂问题，这已成为现代智能体技术的核心思路之一。姚顺雨毕业于清华大学姚班，并在普林斯顿大学获得博士学位。他近期刚从 OpenAI 研究员的职位上离职。

在他的文章《下半场》中，姚顺雨将这些技术层面的洞见升华为对整个行业的宏观判断。他认为，AI 的焦点需要从单纯提升模型能力的“上半场”，转向定义更有价值的问题、并建立能衡量真实世界效用的评估体系的“下半场”。这篇文章充分展现了他作为AI未来方向思考者的深度。

原文链接：ysymyth.github.io

以下是全文翻译（因小宇宙字数限制，有精简）：

一句话：我们正处于人工智能的中场时刻。

过去几十年，人工智能（AI）主要致力于开发新的训练方法和模型，并卓有成效：从击败棋类世界冠军，到在各类考试中超越人类，再到斩获奥赛金牌。这些里程碑的背后，是搜索、深度强化学习、规模化和推理等根本性方法的创新。

转折点：一个通用“配方”的出现

现在与过去最大的不同是：强化学习（RL）终于具备了泛化能力。我们找到了一个行之有效的“配方”，能利用语言和推理解决软件工程、创意写作、高难度数学、键鼠操作和长篇问答等一系列极其困难且跨度巨大的任务。这在一年多以前还是难以想象的。

这个质变意味着 AI 的游戏规则正在改变。AI 的“下半场”已经开始，其焦点将从“解决问题”转向“定义问题”。在这个新时代，评估（Evaluation）比训练（Training）更重要。我们必须转变思维，从问“我们能否训练模型解决X？”，转向问“我们应该训练AI做什么，以及如何衡量真正的进展？”。这需要一种更接近产品经理的思维模式。

上半场：方法为王

回顾 AI 的上半场，其游戏规则是：专注于构建新模型和新方法，并在基准测试（Benchmark）上取得性能提升。

这一时期的赢家，如 Transformer、AlexNet 等，都是训练方法或模型，而非基准测试本身。一个极具说服力的例子是：Transformer 论文的引用量超过 16 万，而它所使用的主要基准 WMT’14 的引用量仅约 1300。这背后的原因是，在上半场，创造新方法（如反向传播、CNN、Transformer）比定义新任务（通常是将人类任务转化为基准）更困难、更激动人心，也更具通用性。一种好的方法可以推动多个领域的进步，其影响力远超单个任务。

“配方”的诞生：强化学习的“弯路”与顿悟

这个改变游戏规则的“配方”，其核心成分包括：大规模语言预训练、规模化（数据与算力）、以及推理与行动的理念。我们可以通过强化学习（RL）的视角来理解这一切是如何发生的。

RL 被视为 AI 的终局之战，它包含三个关键部分：算法、环境和先验知识（priors）。长期以来，研究者们将绝大部分精力投入到算法上，而忽略了环境和先验知识。然而，在深度 RL 时代，人们发现算法性能高度依赖于特定环境。OpenAI 曾尝试通过 gym 等项目将数字世界构建为标准环境，以期用通用算法解决一切，但这条路并未完全走通，智能体无法有效泛化。

直到 GPT 系列模型出现，人们才恍然大悟：缺失的关键环节是“先验知识”。强大的语言预训练为模型注入了海量的常识和知识，这成为智能体能够泛化和微调的基础。事实证明，RL 最重要的部分，可能不是算法，而是通过语言预训练获得的先验知识。

但仅有先验知识还不够。直接在游戏或计算机控制任务上微调语言模型，泛化能力依然很差。作者在 2019 年的研究中发现了这一点，并迎来了“尤里卡时刻”：人类之所以能泛化，是因为我们不仅会“行动”，还会“思考”。

“思考”（或称推理）是一种奇特的行动，它不直接改变外部世界，却能利用语言预训练的先验知识来探索无限的策略空间，从而实现泛化。将推理作为一种特殊的“行动”加入到 RL 框架中，我们终于补全了拼图。一旦有了正确的先验知识（语言预训练）和正确的环境（加入了推理行动），RL 算法本身反而成了最简单的部分。这是一个充满讽刺意味的转折：我们花了几十年才意识到，研究的优先级或许本应是先验知识 > 环境 > 算法，与过去完全相反。

下半场：重新定义游戏规则

这个通用“配方”的出现，正在颠覆上半场的游戏规则，原因有二：

1. 它将“刷榜”（攻克基准测试）的过程标准化、工业化了。任何新方法的微小提升，都很容易被下一个更大规模的“配-方”模型所带来的巨大提升所淹没。
2. 即使我们创造出更难的基准，它们也会被越来越快地解决。

那么，下半场该怎么玩？答案是：我们必须从根本上重新思考“评估”。这不只是创造更难的基准，而是要质疑现有的评估“设置”（setups），并创造出能迫使我们发明超越现有“配方”的新评估体系。

这里存在一个核心的**“效用问题”**：AI 已在各种任务上达到超人水平，但真实世界的经济和 GDP 并未因此发生巨大变化。其根源在于：我们的评估设置与真实世界在基本假设上存在脱节。例如：

1. 独立运行 vs. 人机交互：标准评估通常是智能体一次性自主完成任务。但在现实中，任务往往需要在与人的持续互动中完成。
2. 独立同分布 (i.i.d.) vs. 序贯学习：评估假设每个测试任务都是独立的。但在现实中，人会通过连续解决任务积累经验（如工程师对代码库越来越熟），而现有评估体系无法衡量这种长期记忆和学习能力。

这些沿用已久的假设，在上半场智能水平较低时问题不大。但现在，当通用“配方”能轻易在旧假设下达成目标时，我们就必须改变游戏。

下半场的新游戏规则是：

1. 为真实世界的效用开发新颖的评估设置或任务。
2. 用现有“配方”或为其增添新组件来解决它们，并持续循环。

这个新游戏更困难，因为它不为我们所熟悉。但它更激动人心。上半场的玩家在解决虚拟游戏和考试，而下半场的玩家则有机会通过将智能转化为有用的产品，建立价值万亿的公司。只有创造出能打破当前“配方”有效性的新评估假设，我们才能催生出真正改变游戏规则的研究。

欢迎来到下半场！

在小宇宙查看该单集文稿

Andrej Karpathy 是一位杰出的人工智能科学家和工程师，以其在深度学习领域的深刻见解闻名。他曾担任特斯拉的AI总监，领导开发自动驾驶系统 Autopilot 的核心视觉技术，也是 OpenAI 的创始成员之一，深度参与了前沿AI的研究。除了在工业界的巨大成就，他也是一位极具影响力的教育家。他在斯坦福大学开设的课程 CS231n被公认为该领域的经典入门课。

他最著名的思想贡献是提出了“软件2.0”这一概念，清晰地阐述了神经网络正在从根本上改变软件的开发方式——从人类编写精确指令，转向通过数据和优化来“发现”程序。这使他不仅被看作是一位技术专家，更是一位能够洞察行业发展范式的思想者。

原文链接：karpathy.medium.com

以下是全文翻译：

我有时会看到人们将神经网络称为“你机器学习工具箱里的又一个工具”。它们有其优缺点，在某些场景下适用，有时你可以用它们来赢得 Kaggle 比赛。然而，不幸的是，这种解读完全是只见树木，不见森林。神经网络不仅仅是又一种分类器，它们代表了我们开发软件方式的一次根本性转变的开端。它们就是软件 2.0。

软件 1.0 的“经典技术栈”是我们都所熟悉的——它由 Python、C++ 等语言编写。它包含了由程序员写给计算机的明确指令。通过编写每一行代码，程序员在巨大的程序空间中，定位到一个具有某种期望行为的特定点。

相比之下，软件 2.0 是用一种更为抽象、对人类不友好的语言编写的，例如神经网络的权重。没有人类参与编写这种代码，因为权重数量极其庞大（典型的网络可能有数百万个），而且直接用权重编码是相当困难的（我试过）。

取而代之，我们的方法是为期望的程序行为指定一个目标（例如，“满足一个由输入输出样本对组成的数据集”，或者“赢得一盘围棋比赛”），编写一个粗略的代码骨架（即神经网络架构）来确定一个要搜索的程序空间的子集，然后利用我们可支配的计算资源在这个空间里进行搜索，以找到一个有效的程序。在神经网络的案例中，我们将搜索范围限制在程序空间的一个连续子集内，在这个子集里，通过反向传播和随机梯度下降，搜索过程可以变得（有些出人意料地）高效。

为了让这个类比更清晰：在软件 1.0 中，由人类设计的源代码（例如一些 .cpp 文件）被编译成一个能做有用工作的二进制文件。而在软件 2.0 中，源代码通常包含两部分：1）定义了期望行为的数据集；2）给出了代码粗略骨架的神经网络架构，但留下了许多细节（即权重）待填充。训练神经网络的过程，就是将数据集“编译”成最终的二进制文件——也就是最终的神经网络。在今天大多数实际应用中，神经网络架构和训练系统越来越标准化并成为一种商品，因此，大部分活跃的“软件开发”工作，都变成了策划、扩充、处理和清洗标记好的数据集。这从根本上改变了我们迭代软件的编程范式，团队被分成了两部分：2.0 程序员（数据标注员）负责编辑和扩充数据集，而少数 1.0 程序员则维护和迭代周边的训练代码基础设施、分析工具、可视化和标注界面。

事实证明，现实世界中的大部分问题都有一个特性，那就是收集数据（或者更广义地说，确定一种期望的行为）要比明确地编写程序容易得多。由于这一点以及我下面将要阐述的软件 2.0 程序的许多其他好处，我们正在目睹整个行业的一场巨大转型，大量 1.0 代码正在被移植为 2.0 代码。软件（1.0）正在吞噬世界，而现在人工智能（软件 2.0）正在吞噬软件。

正在进行的转型

让我们简要地看一下这个正在发生的转型的一些具体例子。在以下每个领域，当我们放弃尝试通过编写明确代码来解决复杂问题，转而将代码迁移到 2.0 技术栈时，我们在过去几年里都看到了显著的改进。

• 视觉识别 过去由人工设计的特征和最后点缀其上的一点机器学习（例如，支持向量机 SVM）组成。从那以后，通过获取大型数据集（如 ImageNet）并在卷积神经网络（CNN）架构的空间中进行搜索，我们发现了强大得多的视觉特征。最近，我们甚至不再相信自己能手动编码架构，而是开始对架构本身进行搜索。
• 语音识别 过去涉及大量的预处理、高斯混合模型和隐马尔可夫模型，但如今几乎完全由神经网络构成。与此相关，有一句常被引用的、源于 1985 年的幽默名言，据说是 Fred Jelinek 说的：“每当我解雇一名语言学家，我们的语音识别系统性能就会提升。”
• 语音合成 历史上一直采用各种拼接机制，但如今最先进的模型是大型卷积网络（例如 WaveNet），它们能直接生成原始的音频信号输出。
• 机器翻译 通常采用基于短语的统计技术，但神经网络正迅速成为主导。我最喜欢的架构是在多语言环境下训练的，单一模型可以从任何源语言翻译到任何目标语言，并且是在弱监督（或完全无监督）的环境下进行的。
• 游戏 人类明确手写的围棋程序已经开发了很长时间，但 AlphaGo Zero（一个观察棋盘原始状态并走棋的卷积网络）现在已经成为目前为止最强的围棋选手。我预计我们将在其他领域看到非常相似的结果，例如 DOTA 2 或星际争霸。
• 数据库 人工智能之外的更传统系统也出现了转型的早期迹象。例如，“The Case for Learned Index Structures” 一文用神经网络取代了数据管理系统的核心组件，其速度比缓存优化的 B-Tree 快 70%，同时节省了一个数量级的内存。

你会注意到，我上面提到的许多链接都涉及到在谷歌完成的工作。这是因为谷歌目前正处于将自身大量代码重写为软件 2.0 的前沿。“一个模型统治一切”（One model to rule them all）提供了一个早期蓝图，展示了这种模式的未来：将各个领域的统计优势融合起来，形成对世界的一个统一连贯的理解。

软件 2.0 的好处

我们为什么应该倾向于将复杂的程序移植到软件 2.0？显然，一个简单的答案是它们在实践中效果更好。然而，还有很多其他便利的原因让我们更偏爱这个技术栈。让我们来看看软件 2.0（可以想象成一个卷积网络）相比于软件 1.0（可以想象成一个生产级的 C++ 代码库）的一些好处。软件 2.0 是：

• 计算同质化 (Computationally homogeneous)。一个典型的神经网络，从宏观上看，只由两种运算层层叠加而成：矩阵乘法和零点阈值（ReLU）。相比之下，传统软件的指令集要异构和复杂得多。因为你只需要为少数核心计算原语（例如矩阵乘法）提供软件 1.0 的实现，所以更容易做出各种正确性/性能的保证。
• 易于固化到芯片中 (Simple to bake into silicon)。作为推论，由于神经网络的指令集相对较小，将这些网络更紧密地实现在芯片上要容易得多，例如使用定制的 ASIC、神经形态芯片等等。当低功耗的智能在我们周围变得无处不在时，世界将会改变。例如，小而便宜的芯片可以内置一个预训练好的卷积网络、一个语音识别器和一个 WaveNet 语音合成网络，所有这些都集成在一个你可以附加到任何东西上的小型“原始大脑”中。
• 恒定的运行时间 (Constant running time)。典型的神经网络前向传播的每一次迭代都消耗完全相同的浮点运算次数（FLOPS）。代码不会因为通过庞大的 C++ 代码库时走了不同的执行路径而产生任何变化。当然，你也可以有动态计算图，但执行流程通常仍然受到很大限制。这样，我们也几乎可以保证永远不会陷入意料之外的无限循环。
• 恒定的内存使用 (Constant memory use)。与上一点相关，代码中没有任何动态分配的内存，所以也几乎不可能出现需要换页到磁盘的情况，或者需要你在代码中到处寻找的内存泄漏。
• 高度可移植 (It is highly portable)。相比于传统的二进制文件或脚本，一系列的矩阵乘法在任意计算配置上运行起来要容易得多。
• 非常敏捷 (It is very agile)。如果你有一个 C++ 代码库，有人想让它快一倍（如有必要，可以牺牲性能），那么要为这个新规格调整系统将是非常不平凡的。然而，在软件 2.0 中，我们可以拿来我们的网络，去掉一半的通道，重新训练，然后——它就以两倍的速度运行，效果差一点点。这简直是魔法。反之，如果你碰巧获得了更多的数据/计算资源，你只需增加更多通道并重新训练，就可以立即使你的程序效果变得更好。
• 模块可以融合成一个最优的整体 (Modules can meld into an optimal whole)。我们的软件通常被分解为通过公共函数、API 或端点进行通信的模块。然而，如果两个最初分开训练的软件 2.0 模块进行交互，我们可以轻易地在整个系统中进行反向传播。想象一下，如果你的网页浏览器能够自动重新设计底层第 10 层的系统指令，以实现更高的网页加载效率，那该有多神奇。或者，如果你导入的计算机视觉库（如 OpenCV）可以根据你的特定数据进行自动调优。对于 2.0 来说，这是默认行为。
• 它比你更强 (It is better than you)。最后，也是最重要的一点，在一个很大部分有价值的垂直领域，神经网络是一段比你或我能写出的任何代码都要好的代码。这些领域目前至少包括与图像/视频和声音/语音相关的一切。

软件 2.0 的局限性

2.0 技术栈也有它自己的一些缺点。在优化的最后，我们得到的是一些效果很好的大型网络，但很难说清楚它们是如何工作的。在许多应用领域，我们将面临一个选择：是使用一个我们能理解的、准确率 90% 的模型，还是一个我们不理解的、准确率 99% 的模型。

2.0 技术栈可能会以一些不合直觉、令人尴尬的方式失败，或者更糟的是，它们会“静默失败”，例如，悄悄地继承了训练数据中的偏见，而当模型规模动辄数百万时，要恰当地分析和检查这些偏见是非常困难的。

最后，我们仍在探索这个技术栈的一些奇特属性。例如，对抗性样本和攻击的存在，突显了这种技术栈的不直观性。

在 2.0 技术栈中编程

软件 1.0 是我们写的代码。软件 2.0 是优化过程根据一个评估标准（例如“正确分类这些训练数据”）写出的代码。很可能，任何程序逻辑不明显、但可以反复评估其性能的场景（例如——你是否正确分类了一些图像？你是否赢得了围棋比赛？）都将经历这种转型，因为优化过程能找到比人类写出的好得多的代码。

我们看待趋势的视角至关重要。如果你认识到软件 2.0 是一种新兴的编程范式，而不仅仅是把神经网络看作是机器学习技术中的一个相当不错的分类器，那么未来的推演就变得更加清晰，而且很明显，还有更多的工作要做。

具体来说，我们已经建立了大量的工具来帮助人类编写 1.0 代码，例如功能强大的集成开发环境（IDE），具有语法高亮、调试器、性能分析器、函数跳转、git 集成等功能。在 2.0 技术栈中，编程是通过积累、处理和清洗数据集来完成的。例如，当网络在某些困难或罕见的情况下失败时，我们不是通过写代码来修复这些预测，而是通过加入更多这些情况的标记样本。谁将会开发出第一批软件 2.0 的 IDEs，来帮助完成积累、可视化、清洗、标注和采购数据集的全部工作流程？也许这个 IDE 会主动提示那些网络根据单一样本损失怀疑被错误标注的图像，或者通过用预测结果来预填充标签来辅助标注，或者根据网络预测的不确定性来建议有用的待标注样本。

同样，Github 是软件 1.0 代码非常成功的家园。那么是否存在一个软件 2.0 的 Github 空间呢？在这种情况下，代码仓库就是数据集，而提交（commit）则由标签的增添和编辑构成。

在短期内，软件 2.0 将在任何可以进行廉价、重复评估，并且算法本身难以明确设计的领域变得越来越普遍。思考整个软件开发生态系统，以及如何使其适应这种新的编程范式，存在着许多激动人心的机会。而在遥远的未来，这个范式的未来是光明的，因为越来越清楚的是，当我们开发出通用人工智能（AGI）时，它必然是用软件 2.0 编写的。

在小宇宙查看该单集文稿

Sara Hooker 是一位人工智能研究者，在撰写《硬件彩票》（The Hardware Lottery）一文时，她在谷歌研究院的 Brain 团队工作 。她在这篇影响深远的文章中提出了一个“扎心”的观点：在 AI 研究中，一个算法或模型能够成功并得到广泛应用，并不仅仅因为它理论上更优秀，很大程度上是因为它恰好能高效地运行在当前主流的硬件（尤其是 GPU）上。很多“更好”的、但与硬件不兼容的想法，就像没有中奖的彩票一样，被历史遗忘了。

原文地址：arxiv.org

以下是这篇文章的核心论点摘要：

1. 引言 ：什么是The Hardware Lottery？

科学的进步并非完美无瑕 。学术传统和现有工具会使科学家对某些思想产生偏见 。在人工智能领域，作者认为，工具（即软硬件）在决定思想成败方面扮演了极其重要的角色 。

• 硬件彩票 (Hardware Lottery) 定义：当一个研究思想的成功并非因为它本身优于其他方案，而是因为它恰好与当时可用的软硬件兼容时，就发生了“硬件彩票” 。
• 领域专用硬件的风险：如今，我们进入了一个硬件、软件和机器学习研究更紧密合作的新时代 。为了优化深度神经网络的商业应用，出现了大量“领域专用”硬件（如 TPU） 。虽然这提高了主流研究的效率，但也使得那些偏离主流的思想探索成本更高 。

2. 历史回顾：那些“中奖”和“未中奖”的彩票

文章通过多个历史案例来证明“硬件彩票”的存在和其造成的深远影响。

• 早期的失败者：巴贝奇的分析机 (Analytical Engine)
  计算机先驱查尔斯·巴贝奇在 1837 年设计了一台理论上可以解决任何计算问题的分析机 。
  然而，这台机器从未被建成，部分原因是他难以制造出所需精度的零件 。他的思想因为超越了当时的硬件制造能力而失败，直到一个世纪后，当真空管等技术出现，他提出的可存储程序、内存、条件分支等概念才被重新发现 。
• 最惨痛的案例：深度学习“失落的几十年” (The Lost Decades)
  深度神经网络的大多数核心算法其实早已存在：反向传播（1963年发明）、深度卷积网络（1982年发明）等 。然而，直到三十年后，它才被广泛接受为一个有前途的研究方向 。
  失败原因：这段漫长的发展停滞期，很大程度上源于硬件与算法的适配问题。在 “通用计算时代”，硬件体系以 CPU 为核心 —— 由于 CPU 一次只能处理一条指令，当它应对深度学习中的核心任务（如矩阵乘法）时，CPU 与内存之间的单一数据通道会形成 “冯・诺依曼架构下的传输瓶颈”；这种瓶颈会快速耗尽内存带宽，最终导致多层深度网络难以有效训练。
  意外的中奖者：GPU 的 repurposed (重新利用)
  GPU 最初是为视频游戏和图形开发设计的专门加速器
  在 2000 年代初，如同爱迪生的留声机被意外用于播放流行音乐一样，GPU 被重新利用于一个完全意想不到的场景——训练深度神经网络 。
  GPU 的关键优势在于它极擅长并行处理大量简单的可分解指令（如矩阵乘法），这正好解决了 CPU 的瓶颈，使得训练更深的网络成为可能 。
• 软件彩票 (Software Lotteries)
  软件同样决定了思想的成败 。在 90 年代中期以前，AI 社区偏爱 LISP 和 Prolog 语言，它们非常适合处理符号主义 AI 的逻辑表达式和专家系统 。
  对于想研究深度神经网络这类连接主义思想的研究者来说，用这些语言来实现网络非常笨拙 。直到 Matlab、LUSH 和 TORCH 等软件出现后，才有了更健康的生态系统 。

3. 当下的硬件彩票：风险依然存在

• 回归专用硬件：随着摩尔定律终结，行业再次转向专用硬件，如谷歌的 TPU、Arm 的 Cortex-M55 等，它们被明确设计用来优化深度学习中的矩阵乘法等昂贵操作 。
• “过拟合”到现有硬件：这种趋势带来一个风险。例如，一种名为胶囊网络 (Capsule Networks) 的新型计算机视觉架构，旨在解决 CNN 的一些关键缺陷（如缺乏旋转不变性） 。然而，由于其包含了“挤压操作 (squashing)”等非标准组件，它在为矩阵乘法过度优化的 GPU 和 TPU 等加速器上性能急剧下降 。
• 提出的问题：这引出一个深刻的问题——研究人员在多大程度上会不自觉地“过拟合”到那些在现有硬件上表现良好的思想，而不是去冒险探索那些当前不可行的想法？ 我们现在还有哪些因为没有合适的软硬件而被看作是失败的成功想法？

4. 对未来的思考：我们是否在建一个通往月球的梯子？

• 当前许多研究实验室都在进行一场“越大越好”的竞赛，认为将深度神经网络与海量数据和计算相结合就能实现突破 。
• 然而，这种方式的成本正变得极其高昂（如 GPT-3 的训练成本估计超过 1200 万美元） 。作者用了一个贴切的比喻：我们似乎在试图建造一个通往月球的梯子 。
• 人脑的智能运行方式与深度学习有很大不同，例如人脑依赖去中心化的局部更新、能从极少样本中学习、并且不会轻易“灾难性遗忘” 。这表明，深度学习可能不是通往智能的唯一路径 。我们很可能正身处一场当代的硬件彩票之中 。

结论

一个算法的性能与其运行的硬件和软件是密不可分的 。本篇文章提出了“硬件彩票”这一术语，用以描述这些下游选择如何决定一个研究思想的成败 。如今，硬件格局变得日益异构 。本文断言，硬件彩票并未消失，并且赢家和输家之间的差距将变得越来越大 。为了避免未来的硬件彩票，我们需要让量化“满足于我们现有软硬件”的机会成本变得更加容易 。

在小宇宙查看该单集文稿

Yann LeCun (杨立昆)，是2018年图灵奖得主，“深度学习三巨头”之一。他开创性地提出了卷积神经网络 (CNN)，为现代计算机视觉技术奠定了基础，是人工智能领域举足轻重的奠基人。他目前担任 Meta 副总裁兼首席人工智能科学家及纽约大学教授，是一位非常活跃的公众人物，经常在社交媒体 (X/Twitter) 上发表观点，与同行辩论，并积极地向公众普及他对 AI 未来发展的独特蓝图。

Yann LeCun 在 NIPS 2016 大会上提出了他如今已是家喻户晓的“蛋糕比喻”：“如果智能是一个蛋糕，那么蛋糕的主体是无监督学习，蛋糕上的糖霜是监督学习，而蛋糕顶部的樱桃则是强化学习 (RL)。” 这句俏皮话迅速传遍了 AI 社区，并确立了 LeCun 作为无监督学习坚定倡导者的地位——这是一种在未标注数据中寻找模式的机器学习技术。而在旧金山举行的 2019 年ISSCC上，LeCun 更新了他的蛋糕配方，将“无监督学习”替换为“自监督学习”——这是无监督学习的一种变体，其监督信号由数据自身提供。

我们人类并不是通过筛选海量的已标注数据来形成对世界如何运作的理解的。相反，我们利用预测和推理等能力，从现有信息中推断未来。即使面对不完整的前提，例如文本中的缺失片段或被遮挡的图像，我们仍然可以利用常识推断出结果——这是机器所缺乏的能力。

LeCun 的蛋糕比喻强调了无监督学习或“预测性学习”的重要性，他相信这能够突破人工智能发展的局限。今天的 AI 技术可以轻松地对图像进行分类和识别语音，但无法执行诸如推理不同对象之间的关系或预测人类行为之类的任务。这正是无监督学习可以填补的空白。正如 LeCun 所说：“预测是智能的本质。”

这位法国科学家将无监督/预测性学习定义为“从任何可用信息中预测过去、现在或未来感知信息的任何部分”。他解释说：“为任何任务训练一个大型学习机器所需的样本数量，取决于我们要求它预测的信息量。你对机器要求得越多，它的规模就可以做得越大。”

像监督学习（仅预测人类提供的标签）和强化学习（仅预测一个价值函数）这样的机器学习技术，其范围都过于狭窄，无法创造出达到人类水平的智能机器。然而，无监督学习凭借其每个样本所包含的数百万比特的信息，可以被用来在没有人类监督的情况下训练高度复杂的机器。

2018年，LeCun 开始重新阐述他的观点，并更多地推崇“自监督学习”，认为它是构建 AI 未来的一个有用的新成分。与监督学习一样，自监督学习也是从成对的输入和输出中学习一个函数。但与需要标注员手动标记数据不同，自监督学习通过从输入数据中提取弱标注信息并预测其余部分，来自动生成标签。通过这种方式，模型可以独立地学习数据的语义特征表示，这些特征可以进一步用于其他任务。

经典的自监督学习用例包括 Word2vec，这是 Google Brain 在 2013 年引入的一种用于学习词向量表示（或称“词嵌入”）的技术。自那以后，Word2vec 催生了许多前沿的语言模型，包括 2018 年的 Google BERT 和 OpenAI GPT。另一个典型的自监督学习模型是自编码器 (Autoencoders)，其输入和输出数据完全相同。其他应用自监督学习的领域还包括照片修复和图像超分辨率。

LeCun 告诉 ISSCC 的听众，尽管自监督学习目前在处理像视频预测任务这样的高维连续信号方面效果还不是很好，但他仍然认为这项技术将改变游戏规则：“下一场 AI 革命将不会是监督式的，也不会是纯粹强化式的。未来属于拥有海量数据和超大规模网络的自监督学习。”

许多强化学习社区的研究者认为 LeCun 的蛋糕比喻难以苟同，他们认为自己的方法才是通往未来的道路。DeepMind 的研究人员用一张铺满了无数颗樱桃的蛋糕图片回应了第一张幻灯片，认为拥有众多奖励信号的强化学习可以体现出巨大的价值。

在 NIPS 2017 大会上，加州大学伯克利分校的 Pieter Abbeel 教授将这场“甜点战争”升级了。他在自己的演讲中展示了 DeepMind 的樱桃蛋糕图片，并开玩笑说：“我更喜欢吃一个有很多樱桃的蛋糕，因为我喜欢强化学习。” 由于 LeCun 对纯强化学习方法的批评主要集中在稀疏的奖励信号上，Abbeel 通过事后经验回放 (Hindsight Experience Replay) 技术来阐述自己的观点。这是一种新颖且样本效率高的学习技术，它试图通过简单地假设目标就等于实际发生的结果，从而从任何经验中获取奖励信号。尽管经典的强化学习方法将失败视为零奖励，但 Abbeel 提出，即使是失败的经验也可以用来训练机器。

作为 AI 社区最受欢迎的梗之一，LeCun 那富有童趣的蛋糕隐喻已经成为了关于哪条当前机器学习研究路径最有可能通往AGI的严肃辩论的象征。

在小宇宙查看该单集文稿