【主播的话】

新的一期硬核技术访谈来了！我们特别邀请到了多模态大模型领域的前沿研究者，加州大学圣塔芭芭拉分校(UCSB)的PhD李嘉琛。嘉琛将与我们深入探讨多模态大模型的核心概念与应用前景，从原始的语言模型到多模态学习的进化过程。我们将一同揭开大模型如何综合处理文本、图像、视频等多种数据类型的神秘面纱，并探索其在上下文理解、任务执行和规划等方面的巨大潜力。此外，嘉琛还将分享大模型在自动化、数据分析、娱乐等多个领域的应用案例。加入我们，一起探索大模型的无限可能！

嘉宾和主播长期在北美工作生活，夹杂英文在所难免，不接受抱怨！Enjoy!

【本期嘉宾】

Jiachen Li (李嘉琛, 推特：@JiachenLi11) 加州大学圣塔芭芭拉分校 (UCSB)三年级PhD，主攻机器人控制，多模态学习，生成式人工智能。Jiachen带队参加了Amazon SimBot Challenge，获得了第二名以及10w美元的奖金。

【本期主播】

Leo Zhao 硅谷大厂高级机器学习工程师，GenAI LLM发烧友

【本期焦点】

• 01:40 - 讨论多模态大模型的起源和基本概念
• 02:10 - 介绍大模型从单一模态到多模态的转变，解释多模态大模型在不同数据类型间的应用
• 04:25 - 讨论大模型在自动化和数据处理方面的应用
• 05:12 - 探讨多模态大模型如何提供更丰富的信息。
• 08:00 - 讨论大模型在信息接收和任务执行方面的效率
• 10:30 - 讨论大模型在自动生成prompt方面的能力
• 13:10 - 分析大模型在长期规划和任务分解方面的能力
• 16:10 - 讨论强化学习在多模态大模型中的应用
• 23:02 - 讨论大模型在处理长期上下文方面的挑战
• 28:53 - 嘉宾分享关于奖赏塑形（Reward Shaping）的个人经历。
• 31:44 - 探讨在控制多模态大模型方面的未来方向
• 34:30 - 讨论降低延迟（Latency）的方法和最新进展
• 39:36 - 探讨未来大模型可能的发展方向和挑战

【特别话题】

• 关于大模型的未来发展：如何使用合成数据（Synthetic Data）有效训练大模型
• 在视频生成等领域如何解决一致性问题
• 未来大模型可能如何整合所有领域数据以提供更全面的服务