
Sign up to save your podcasts
Or
DeepSeek-R1 等模型通过展示思维链(CoT)让用户一窥大模型的「思考过程」,然而,模型展示的思考过程真的代表了模型的内在推理机制吗?在医疗诊断、自动驾驶、法律判决等高风险领域,我们能否真正信任 AI 的决策?
本期《智者访谈》邀请到上海交通大学张拳石教授,他在神经网络可解释性研究领域开创了新的理论框架。
不同于传统的工程技术层面的解释方法,张教授提出了「等效与或交互」解释性理论,用严谨的数学符号化方式证明神经网络的内在表征逻辑,为理解泛化性、鲁棒性和过拟合提供了新的视角。
面对大模型发展的各种挑战,张教授强调了理论创新的重要性。他说:「所谓十年磨一剑,相比用十年时间去优化一个复杂系统,更多是用十年去等待一个真正值得投入的问题。」
【时间线】
01:20 思维链是模型的真实思考过程吗?
05:39 将表征逻辑严谨解释为符号化交互概念
14:16 幻觉、欺骗与创意:本质相同
20:49 结果导向,模型的自我纠正与提升:潜在风险
28:00 从表征角度理解泛化性、鲁棒性的根因
31:56 过拟合的内在机理
38:43 大模型的质量评估、安全与商业发展
46:06 从 Scaling 的维度到维度的 Scaling
50:10 用 CoT 数据反哺训练的潜在风险
52:36 如何在 AI 研究中找到真正的「大问题」
【栏目简介】
这是国内人工智能垂直媒体机器之心旗下的「智者访谈」播客栏目。栏目聚焦于人工智能领域的顶尖专家和学者,旨在洞悉人工智能的核心技术与行业趋势,深化行业认知,激发创新思考。
【主播】
闻菲,机器之心合伙人总监
【嘉宾】
张拳石
• 上海交通大学长聘教轨副教授,博导
• 上海交通大学电院计算机科学与工程系长聘教轨副教授,博士生导师,入选国家级海外高层次人才引进计划,获 ACM China 新星奖。在神经网络可解释性方向取得了多项具有国际影响力的创新性成果。
• 担任 TMLR 责任编辑,NeurlPS 2024领域主席以及 AAAI 2019,CVPR 2019,ICML 2021 大会可解释性方向分论坛主席。
【联系方式】
公众号:机器之心
收听渠道:Apple Podcast | 小宇宙 | 喜马拉雅
其他平台:bilibili(机器之心官方) | 视频号(机器之心)| 小红书(机器之心)
DeepSeek-R1 等模型通过展示思维链(CoT)让用户一窥大模型的「思考过程」,然而,模型展示的思考过程真的代表了模型的内在推理机制吗?在医疗诊断、自动驾驶、法律判决等高风险领域,我们能否真正信任 AI 的决策?
本期《智者访谈》邀请到上海交通大学张拳石教授,他在神经网络可解释性研究领域开创了新的理论框架。
不同于传统的工程技术层面的解释方法,张教授提出了「等效与或交互」解释性理论,用严谨的数学符号化方式证明神经网络的内在表征逻辑,为理解泛化性、鲁棒性和过拟合提供了新的视角。
面对大模型发展的各种挑战,张教授强调了理论创新的重要性。他说:「所谓十年磨一剑,相比用十年时间去优化一个复杂系统,更多是用十年去等待一个真正值得投入的问题。」
【时间线】
01:20 思维链是模型的真实思考过程吗?
05:39 将表征逻辑严谨解释为符号化交互概念
14:16 幻觉、欺骗与创意:本质相同
20:49 结果导向,模型的自我纠正与提升:潜在风险
28:00 从表征角度理解泛化性、鲁棒性的根因
31:56 过拟合的内在机理
38:43 大模型的质量评估、安全与商业发展
46:06 从 Scaling 的维度到维度的 Scaling
50:10 用 CoT 数据反哺训练的潜在风险
52:36 如何在 AI 研究中找到真正的「大问题」
【栏目简介】
这是国内人工智能垂直媒体机器之心旗下的「智者访谈」播客栏目。栏目聚焦于人工智能领域的顶尖专家和学者,旨在洞悉人工智能的核心技术与行业趋势,深化行业认知,激发创新思考。
【主播】
闻菲,机器之心合伙人总监
【嘉宾】
张拳石
• 上海交通大学长聘教轨副教授,博导
• 上海交通大学电院计算机科学与工程系长聘教轨副教授,博士生导师,入选国家级海外高层次人才引进计划,获 ACM China 新星奖。在神经网络可解释性方向取得了多项具有国际影响力的创新性成果。
• 担任 TMLR 责任编辑,NeurlPS 2024领域主席以及 AAAI 2019,CVPR 2019,ICML 2021 大会可解释性方向分论坛主席。
【联系方式】
公众号:机器之心
收听渠道:Apple Podcast | 小宇宙 | 喜马拉雅
其他平台:bilibili(机器之心官方) | 视频号(机器之心)| 小红书(机器之心)