今天我们将深入探讨人工智能领域一个引人深思的问题：AI的未来技术路线，究竟是“苦涩的教训”指引下的规模化，还是“更好的教训”所强调的人类智慧与精巧设计？
在过去的70年里，AI研究的历程充满了跌宕起伏，而其中一个核心辩论，由强化学习先驱Rich Sutton提出的“苦涩的教训”（The Bitter Lesson）构成了深刻的洞察。Sutton指出，AI历史上最有效的进步，总是来自于能够充分利用计算资源、具备通用性的方法，而非那些注入了大量人类领域知识的特定设计。他认为，尽管在短期内，结合人类经验的巧妙设计能够带来令人满意的性能提升，但从长远来看，这些方法会遇到瓶颈，甚至阻碍进一步发展。最终的突破往往来自基于大规模计算（通过搜索和学习）的对立方法。
Sutton以众多历史案例来支持他的观点：
• 在国际象棋领域，1997年击败世界冠军卡斯帕罗夫的深蓝（Deep Blue）便是依靠大规模的深度搜索，而非棋手们精巧的棋理知识。
• 围棋领域的AlphaZero更是将这一理念推向极致，通过自我对弈学习，不预设任何人类围棋知识，最终超越了人类。
• 在语音识别和计算机视觉等领域，统计方法和深度学习凭借其对海量数据和计算资源的利用，显著超越了早期依赖人类手工特征工程和专家系统的方案。 Sutton强调，心智的实际内容是“极其复杂、无法挽回的”，我们不应试图通过简单的规则去理解它，而应构建能够发现和捕捉这种任意复杂性的“元方法”。当今大型语言模型（LLMs）的成功，很大程度上印证了“苦涩的教训”，它们通过参数规模、数据量和计算能力的扩展，在通用性上取得了前所未有的突破，甚至在某些推理任务上，通过扩大测试时计算量就能让相对较小的模型超越更大的模型。研究表明，为了实现计算最优训练，模型规模和训练代币数量应以大致相同的比例增长。
然而，并非所有人都认同“苦涩的教训”所描绘的未来。著名机器人学家Rodney Brooks提出了“更好的教训”（A Better Lesson）。Brooks认为，Sutton的论断存在多方面问题，核心在于人类的智慧和精巧设计从未真正缺席，只是以不同的形式存在。例如，卷积神经网络（CNNs）的成功在于其前端由人类设计来处理平移不变性，这本身就是一种内置的人类知识。他指出，“苦涩的教训”所忽视的是解决方案的“总成本”。
Brooks进一步阐述了他的担忧：
• 巨大的计算成本和碳足迹：今天的AI系统需要天文数字般的计算资源，例如自动驾驶汽车的计算功耗高达2500瓦，而人脑仅需20瓦。大规模训练带来了显著的碳排放，这并非可持续发展之道。
• 摩尔定律的放缓：单芯片计算量翻倍时间从一年延长到二十年，且Dennard定标失效导致机器性能提升伴随功耗上升。这使得单纯依靠增加计算力变得不切实际。
• 对海量训练数据的依赖：人类只需少量示例就能学习，而当前的深度学习系统需要数十亿、数万亿的示例。这种对数据量的渴求将人类的工作量转移到了大规模数据集的创建和标注上，这同样是“内置知识”的一种形式。
• 人类智慧的隐性贡献：即便是设计神经网络架构和训练方案，也需要人类投入大量智能。因此，AI的成功并非没有人类的参与，而是人类的智慧被注入到了不同的地方和形式。
这场辩论促使我们思考AI的未来走向。单纯的规模化是否会走向尽头？人类智慧在AI发展中扮演的角色究竟是会逐渐隐退，还是会以更精妙的方式融入其中？
一个备受关注的潜在方向是神经符号AI（Neurosymbolic AI），它被认为是对抗当前“规模化定律”的“解药”。神经符号AI旨在将数据驱动的神经网络与经典的符号推理方法相结合，以期在数据、参数和功耗方面实现更高的效率。它通过将神经网络的内部表示提升到符号层面进行逻辑推理，再将推理结果投影回神经网络空间进行持续学习，形成一个反馈循环，从而更有效地处理传统纯粹神经网络难以应对的复杂问题，如组合推理和现实世界知识约束。
神经符号AI的优势在于：
• 数据效率高：它能够通过引入人类设计的符号先验知识（如物理定律、知识图谱），大幅减少训练所需的数据量。
• 可解释性强：与“黑箱”式的大型神经网络不同，符号表示提供了更强的可解释性。
• 弥补纯粹规模化的不足：即使是大型神经网络，在逻辑推理和泛化到训练数据之外的分布时也存在局限，它们更多地学习统计模式而非真正的推理能力。神经符号AI则能通过集成领域知识来填补这些空白。
• 借鉴人类认知：人类的学习过程也并非纯粹的蛮力模式。心理学中的“双过程理论”表明，人类智能结合了缓慢的、经验驱动的潜符号学习（System 1）和快速的、规则驱动的符号推理（System 2）。神经符号AI正是受此启发，通过符号知识作为“训练轮”或“护栏”，引导学习过程，从而实现更高效的学习和泛化。
最终，AI的未来技术路线可能并非简单的二元选择，而是一个融合了“苦涩教训”的规模化优势和“更好的教训”的人类智慧的混合范式。这种混合架构不仅能利用大规模计算发现复杂的模式，还能通过注入和提取符号知识，实现更高效、更可控、更具泛化能力的智能系统。
那么，作为听众的你，对AI的未来有何期待？我们是否正在走向一个效率与智能兼得的AI新时代？或者我们仍将在规模化与精巧设计的永恒辩论中寻找方向？
欢迎在评论区分享你的看法，让我们一起探讨AI的未知之路！
🔗本期节目 NoteBookLM 资料库:
https://notebooklm.google.com/notebook/c76ffd91-a590-4b45-898d-091de0d0c0e2
---
【关于本播客】
在这个AI技术浪潮席卷一切的时代，我们不禁自问：作为“人”的独特价值究竟是什么？本播客借助经典哲学与社会学著作，与AI深度对谈，共同探寻在智能时代里安身立命的路径。
🎧 在其他平台收听:
* Youtube: https://www.youtube.com/playlist?list=PLUCTkCuYSc14WdVboln1UJaBPy5hI62Xq
* 小宇宙: https://www.xiaoyuzhoufm.com/podcast/6811f40a6b45dee62db6b477
* Apple Podcasts: https://podcasts.apple.com/us/podcast/notebooklm的自我思考/id1811972474
* Spotify: https://open.spotify.com/show/4ExTP0ADTkLE74xDfXr4EQ
👋 联系与互动:
[email protected]
https://x.com/kexinxie630
#NotebookLM的自我思考 #AI #哲学 #AI技术路线 #The Bitter Lesson #A Better Lesson
