OnBoard!

好久不见！OnBoard! 回来啦！这一期又是考验听力的全英文访谈。这次，我们跟亲历者聊聊，今年AI领域最受瞩目的一笔10亿美金的并购：Databricks 今年6月以13亿美金的“天价”，收购了当时成立2年的大语言模型（LMM）基础设施创业公司 MosaicML。

Hello World, who is OnBoard!?

可以说，这是今年最受关注的AI领域收购之一了，之后AI 基础设施领域的巨头和创业公司，都被这次收购推动，开始了融资和产品迭代的热潮。收购的时候，MosaicML 仅有60多人，但是已经推出了 MPT 7B, 30B 两个开源大语言模型，总下载量超过330万。也是最早一批推出开源LLM的公司之一。

这次访谈，Monica 不仅邀请到了 MosaicML 联合创始人、CTO，Hanlin Tang, 还邀请到还有之前来OnBoard! 做过客的非常专业的硅谷成长期投资人， Sapphire Ventures 合伙人，Casber Wang，我们得以从创始人和投资人的视角，一起解读这个有里程碑意义的收购，以及对于生成式AI，AI infra 核心竞争力和未来格局等等话题进行非常有意思的探讨。

准备好你的英语听力，enjoy!

嘉宾介绍

Hanlin Tang (@hanlintang), 现Databricks Neural Networks CTO, 前 MosaicML co-founder & CTO, Intel AI Lab Senior Director, Nervana (2016.9 被Intel 4亿美金收购）创始团队成员

Casber Wang (@CasberW), Sapphire Ventures 合伙人，专注data, infra, 安全等领域，投资了Auth0, JumpCloud, StarTree 等。Sapphire Ventures 是一家资产管理总额超过110亿美金的全球风险投资基金。

Onboard！主持：Monica（推特：@Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

01:57 两位嘉宾自我介绍，Hanlin 最近感兴趣的AI产品，以及Casber 最近在AI领域的投资

08:40 LLM 的到来对传统 MLOps 公司有什么影响

14:13 MosaicML 介绍，2021年如何发现这个创业机会的

17:28 ChatGPT 发布以来，MosaicML 经历了哪些重要的里程碑事件，行业有哪些重要变化

21:41 MosaicML 早期客户是哪些公司？

22:55 MosaicML 的几个重要产品决定：一开始为什么要做开源？

26:43 创业公司应该如何思考是否要开源？

34:36 MosaicML 如何做开源商业化？商业化模式如何演进？

37:17 如何思考 LLM serving 和训练平台的产品竞争力和差异性？MosaicML 的平台如何在探索中演进？

42:32 MosaicML 为何推出自己的开源LLM？

45:39 客户如何选择LLM？常见的问题是什么？有什么常见的误解？

51:11 开源和闭源LLM格局会如何演进？如何影响LLM周边的生态？我们能从云计算生态发展历史中学到什么

58:39 客户如何衡量LLM的performance? 客户需要的是怎样的服务？

62:06 LLM 会如何改变SaaS 生态？为什么说我们低估了数据对新的平台的意义？

70:52 为什么说提高LLM 训练效率和成本没有 silver bullet? 做成本优化的公司如何设计商业模式？

82:00 企业如何思考是否要自己训练LLM？还是在已有模型上 fine tune?

89:23 MosaicML 被 Databricks 收购之后会有哪些变化？下一个聚焦的点是什么？

91:32 Casber 作为投资人，如何看待 Databricks 对 MosaicML 的收购？对未来行业有什么影响？

95:44 Hanlin 创业以来对于行业的观点有过什么改变？过去和未来有什么值得关注的变化？

108:52 如果坐时光机到5年后，你最想问的问题是什么？

提到的公司

• MosaicML
• Databricks
• Weights & Bias
• FlowGPT

参考文章

• www.mosaicml.com
• www.youtube.com
• www.latent.space
• blog.replit.com
• www.databricks.com
• www.latent.space

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

OnBoard! 又一期与硅谷一线投资人的访谈来了！这一次邀请到的是Monica 的好朋友，也是硅谷最顶尖的风险投资基金之一，Andreessen Horowitz, 也就是大家常说的 a16z 的投资合伙人 Jennifer Li！

Hello World, who is OnBoard!?

Jennifer 是一位来自产业界的投资人，原来在独角兽创业公司 AppDynamics 担任PM的她，转型投资人之后，在a16z 的6年里一直专注企业软件、大数据、开源等领域。关注这个方向的创业者和从业者，或许很多人都读过 Jennifer 在a16z 网站上撰写的多篇非常深度的分析文章，包括开源商业化，Modern Data Archiecture 等等。她投资的公司包括大数据领域耳熟能详的 dbt, Motherduck, AI领域最火的公司之一 Elevenlabs 等等。

Jennifer 是硅谷一线基金中为数不多的华人投资合伙人，难得有机会跟 Jennifer 聊一聊她视角，深入剖析她投资 dbt 的过程，对大数据和infra领域的研究，对当下市场和未来机会的思考。这次两个多小时的访谈，Jennifer 的分享超级无私有诚意，绝对值得二刷。

嘉宾长期在北美工作生活，夹杂英文在所难免，不接受抱怨！Enjoy!

嘉宾介绍

Jennifer Li （推特：@JenniferHli）, 硅谷顶尖风险投资机构 Andreessen Horowitz (a16z) 投资合伙人，专注于 data infra, 开源，开发者工具，协作应用等。加入 a16z 之前，Jennifer 曾经是 AI 创业公司 Solvvy 和 被 Cisco $3.7Bn 收购的 AppDynamics 的产品经理。

Onboard！主持：Monica（推特：@Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

01:45 Jennifer 进入风险投资的职业转型，为什么说a16z 是一家独特的风险投资机构

08:43 a16z 如何用庞大的运营机构为被投企业提供价值

11:41 Jennifer 复盘如何在A轮发现40亿美金的开源独角兽 dbt

19:17 dbt 是做什么的？dbt 崛起背后是怎样的大趋势？

21:44 在早期如何识别一个切入点很小的开源工具的商业价值？

27:59 dbt 如何实现产品线延伸？

33:24 dbt 的开源商业化路径是怎样的？开源工具如何实现商业成功？

42:27 a16z 如何思考 data infra 的投资逻辑，如何理解这个领域所经历的产业周期？

46:25 现在创立一家 data infra 公司还有机会吗？未来几年的看点在哪里？

52:50 投资 dbt 时候遇到什么挑战和质疑？

56:09 不同阶段的创业公司，尤其在早期，如何判断投资价值？投资人有哪些常问的问题？

62:16 投资人对于不同阶段的创始人，重点在观察什么？

66:42 近年剧烈变化的资本市场，对于早期 data infra 公司的估值有什么影响？早期投资人的估值判断依据有什么？

74:41 infra 公司的商业化路径应该如何规划？ARR 真的那么重要吗？

79:02 infra 领域最近有什么被高估和被低估的方向？

84:28 这一次的AI浪潮跟“上一波”有什么核心差异？Jennifer 关注的AI投资主题是什么？

93:03 AI 时代的应用价值是什么？AI 应用是否需要做自己的模型？

101:47 Jennifer 在AI领域主要关注哪些重要的趋势？

109:10 如何看待热潮中的AI公司早期增长可能存在的噪音？

114:49 我们还需要一个新的大语言模型公司吗？

117:25 早期公司如何找到共创客户（design partner）？什么是好的共创客户？

120:00 快问快答！

我们提到的内容

• dbt: dbt™ is a SQL-first transformation workflow that lets teams quickly and collaboratively deploy analytics code following software engineering best practices like modularity, portability, CI/CD, and documentation. Now anyone on the data team can safely contribute to production-grade data pipelines.
• Coalese: dbt 的年度大会
• Fivetran: Fivetran is the trusted platform that extracts loads and transforms the world's data.
• Snowflake
• Motherduck
• Retool
• OpenAI
• Anthropic
• Jasper AI
• Martin Casado
• Ben Horowitz
• Jennifer 推荐的书：The Mom Test: How to talk to customers & learn if your business is a good idea when everyone is lying to you, by Rob Fitzpatrick
• Jennifer 推荐的书：Tomorrow, and Tomorrow, and Tomorrow: A novel, by Gabrielle Zevin

词汇注释

• ELT (Extract, Load, Transform): 一种数据集成过程，其中原始数据被提取，加载到数据存储系统中，然后在存储中进行转换。
• ETL (Extract, Transform, Load): 一种新的数据集成过程，其中原始数据被提取，转换为结构化格式，然后加载到数据存储系统中
• Data transformation: : 数据转换是将数据从一种格式或结构转换为另一种的过程，通常是为了使其更适合分析或适应特定的数据库或应用程序
• Data pipeline: 数据管道是一组将数据从一个系统移动并处理到另一个系统的过程，通常涉及ETL等阶段。
• Analytics engineering: applies software engineering best practices to analytics code
• Low hanging fruit: 最容易解决的任务或问题
• Traction: 初创公司或新产品在获得市场接受、客户或达到某些里程碑方面的可衡量的进展
• Product Market Fit (PMF): 当一个产品满足真正的市场需求并满足强烈的市场需求时，表明该产品已经找到了目标受众并满足了他们的需求
• Pave the way forward: 为未来的进展或发展创造一条路径或奠定基础，使后续的行动或创新变得更容易

参考文章

• Emerging Architectures for Modern Data Infrastructure: 2020 | Andreessen Horowitz
• Emerging Architectures for Modern Data Infrastructure | Andreessen Horowitz
• Open Source: From Community to Commercialization | Andreessen Horowitz
• a16z 为何投资 dbt
• a16z 为何投资 motherduck
• A Framework for Finding A Design Partner | Andreessen Horowitz
• Bottom Up Pricing & Packaging: Let the User Journey Be Your Guide | Andreessen Horowitz

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

这次对AI的探讨，我们回归到与创业公司创始人的深度访谈。我们请来了一位在 AI 热潮中高速发展，产品也得到国内不少用户认可的初创公司创始人，美国新一代生产力工具 Gamma 的联合创始人兼 CEO Grant Lee。

Hello World, who is OnBoard!?

Gamma 最开始定位像 Notion 一样用模块或卡片方式帮助人们更高效创建 PPT。在今年集成 AI 功能后，产品现在可以让用户直接以对话或上传源文档等方式，任意撰写和开发创意，成为能更高效展示创意的视觉内容生成工具。

公司成立于 2020 年，总部位于旧金山湾区。团队于 2021 年 8 月推出了 beta 版，并于去年底正式发布，如今已拥有数百万用户。Gamma 于 2021 年完成了 Accel 领投的 700 万美金天使轮融资后，在今年又获得了 A 轮融资。

Grant Lee 作为 SaaS 领域的连续创业者，我们和他从公司及产品诞生，聊到 AI 对用户创意和使用上的巨大改变，最后作为两个孩子的父亲，他也谈到 AI 对下一代在生活和工作的影响，都给我们带来很多启发。

还未体验产品的朋友，赶快点击：https://gamma.app/，尝试一下吧！

播客逐字稿同步上线，搭配收听效果更佳：OnBoard!独家｜对话Gamma创始人：拆解产品-1到0方法论与定价策略；AI如何重塑Gamma，解锁潜在需求与创造力！

Enjoy！

嘉宾介绍

我们都聊了什么

我们提到的公司

别忘了！同步关注两位 Host 的微信公众号，看更多干货内容哦：

Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

GN：前SaaS及科技投资人，Global SaaS社区 Linkloud 发起人，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧

大家的点赞、评论、转发是对我们最好的鼓励！

如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。感恩！

AI 上新不止！这一次我们回归到与创业公司的深度访谈，这期我们请来了一位在 AI 热潮中高速发展，产品也得到国内不少用户认可的初创公司创始人，美国新一代生产力工具 Gamma 的联合创始人兼 CEO Grant Lee。

Hello World, who is OnBoard!?

Gamma 最开始定位像 Notion 一样用模块或卡片方式帮助人们更高效创建 PPT。在今年集成 AI 功能后，产品现在可以让用户直接以对话或上传源文档等方式，任意撰写和开发创意，成为能更高效展示创意的视觉内容生成工具。

公司成立于 2020 年，总部位于旧金山湾区。团队于 2021 年 8 月推出了 beta 版，并于去年底正式发布，如今已拥有数百万用户。Gamma 于 2021 年完成了 Accel 领投的 700 万美金天使轮融资后，在今年又获得了 A 轮融资。

Grant Lee 作为 SaaS 领域的连续创业者，我们和他从公司及产品诞生，聊到 AI 对用户创意和使用上的巨大改变，最后作为两个孩子的父亲，他也谈到 AI 对下一代在生活和工作的影响，都给我们带来很多启发。

还未体验产品的朋友，赶快点击：https://gamma.app/，尝试一下吧！

播客逐字稿同步上线，搭配收听效果更佳：OnBoard!独家｜对话Gamma创始人：拆解产品-1到0方法论与定价策略；AI如何重塑Gamma，解锁潜在需求与创造力！

欢迎多提建议，Enjoy！

嘉宾介绍

Grant Lee, Gamma 联合创始人兼CEO，曾在两家 SaaS 公司 ClearBrain（被上市公司Amplitude收购） 和 Optimizely 担任高管，毕业于斯坦福大学本科及研究生。

OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

OnBoard! 主持：GN：前SaaS及科技投资人，Global SaaS 社区 Linkloud 发起人，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧

我们都聊了什么

00:01:24 Gamma是什么以及Grant为何会创立Gamma？

00:02:51 Grant个人过往经历及一个自己的有趣故事。

00:03:58 Grant连续SaaS创业的经历对创立Gamma的帮助。

00:05:49 Gamma现在到什么阶段以及经历了哪些里程碑？

00:08:59 如何看待“视觉传递”产品的历史以及Gamma诞生的机会？

00:12:17 在早期，如何验证产品概念和需求是足够普遍的？

00:14:33 刚开始有哪些用户反馈是意料之外的以及对早期设计的影响？

00:16:54 早期拓展用户采取了哪些市场拓展策略（GTM）？

00:19:38 早期如何准确设计并传递产品价值（Product message）？

00:22:11 跟早期相比，现在Gamma在价值定位上做了哪些调整？

00:24:27 Gamma是如何验证Product-Market-Fit（PMF) 的？

00:27:13 如何看待收费以及Grant背后的思考。

00:29:28 在进行付费调研时有哪些有意思的发现？

00:33:55 Grant看来在收费策略里创始人最容易犯的错误。

00:35:32 Gamma产品是如何结合AI的以及背后是怎样的思考？

00:39:32 在设计AI功能的过程中遇到了哪些挑战？

00:42:16 用户画像在这个过程中经历了哪些变化？

00:44:32 在集成AI的时候技术选择上经历了哪些思考？

00:48:06 为什么做一款好的AI产品远比做炫酷Demo难多了？

00:50:17 产品迭代中如何协调基本功能和AI的优先级？

00:52:23 未来我们真的还需要PowerPoint吗？

00:54:23 AI会进一步解构Office这样的一站式生产力套件吗？

00:56:45 为什么Grant认为现在最大的竞争对手是“用户行为”的迁移？

00:58:22 还有哪些技术趋势或用户行为变化是Grant最关注的？

01:00:39 在全球化上Grant有哪些有意思的发现和规划？

01:03:48 在AI的影响下，不同地区的用户行为有什么变化吗？

01:06:48 同时Gamma是如何引导用户接受并开始使用AI的？

01:08:26 近期Gamma在功能上将有哪些重要迭代以及未来还有哪些突破？

01:11:52 在社区建设上Gamma有哪些最佳实践？

01:13:41 最后，Grant如何对待现在来自企业级客户的需求？

01:15:27 快问快答！精彩的书籍推荐以及作为孩子父亲，如何看待AI对下一代的影响？

我们聊到的公司

• Notion：一站式办公协作平台
• Canva：图像创作工具
• Beautiful：演示文稿工具
• Pitch：演示文稿工具
• Optimizely：数字营销体验管理平台
• Salesforce：营销CRM
• Airtable：表格管理工具

嘉宾推荐的书

• Shoe Dog
• All the Light We Cannot See

别忘了！同步关注两位 Host 的微信公众号，看更多干货内容哦：

• Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
• GN：前SaaS及科技投资人，Global SaaS社区 Linkloud  发起人，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧

大家的点赞、评论、转发是对我们最好的鼓励！

如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。感恩！

近3小时的硅谷AI重磅嘉宾现场对谈，下集光速奉上！如果你还没有听过上一期，赶紧去补课！

Hello World, who is OnBoard!?

简单介绍一下这次Monica 期待已久的嘉宾组合！ 两位都在OpenAI工作过的技术大牛，包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外，他的Twitter 连 Jeff bezos 都关注，是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊，Google Deepmind 的资深研究员，也是 Google 新一代大语言模型的深度参与者。最后，兼任主持和嘉宾的硅谷上市公司华人高管，硅谷徐老师, 每次来 Onboard! 串台都大受好评。

这是三个小时播客的第二部分。上一期的内容，我们深度讨论了最近AI领域最火的话题，Generative Agents, 生成式代理。这一期更是精彩纷呈，包含了AI领域更多核心话题，包括多模态大模型的研究进展，具备具身智能 embodied AI 的机器人如何打造，AI对saas的影响，我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论，你也可以拿起笔记本做笔记了。

几位嘉宾都是长期在美国工作生活，夹杂英文在所难免，不接受抱怨。Enjoy!

嘉宾介绍

• Jim Fan（推特：@DrJimFan），Nvidia 高级 AI 研究科学家，曾在OpenAI工作，Stanford PhD 李飞飞实验室
• 戴涵俊（推特：@hanjundai），Google Deepmind 资深研究员，深度参与 Google 大语言模型项目，曾在OpenAI工作，Georgia Tech PhD
• 硅谷徐老师（推特：@h0wie_xu），硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师，「科技早知道」主播 ｜微信公众号：硅谷云｜ AI博客：howiexu.substack.com
• 主持：Monica（推特：@Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

01:55 为什么 Jim 觉得 Llama 2 作为语言模型，对于多模态模型和机器人有重大推动

05:24 Hanjun 解读多模态大模型的两种实现方式

07:47 多模态大模型只是解锁了新的场景，还是能更大提升大模型本身的智能？如何理解大模型的智能？

12:34 为什么说机器人的多模态问题更有挑战？

16:35 处理多模态训练数据有哪些难点？

18:12 大模型训练还需要哪些工具？Infra/tooling 有哪些机会？

19:51 亲历OpenAI 的经历回顾和感受：2016-2020，OpenAI 都发生了什么

25:11 OpenAI 近年的发展，哪个时刻震撼了你？

34:20 为什么说 Evaluation 是大语言模型最被低估的挑战之一？

39:54 未来1年和未来10年，你最期待人工智能领域带来什么？

46:17 我们自己和下一代应该如何为未来做准备？

59:33 有趣的 closing 和未来展望：被 Jeff Bezos 关注是什么感觉？！

我们提到的内容

• Llama 2: Meta 开源的大语言模型
• Jim Fan 对于Llama 2 的解读
• OpenAI 赢得DOTA 游戏比赛
• LSTM (Long Short-term Memory)
• Jim Fan 对大猩猩玩Minecraft 的解读
• DALL-E 2: DALL·E 2 is an AI system that can create realistic images and art from a description in natural language (by OpenAI)
• CLIP: Connecting text and image
• ImageNET:  an image dataset organized according to the WordNet hierarchy.
• AlexNET: ImageNet Classification with Deep Convolutional Neural Networks

重点词汇

• RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。
• Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型，使其适应特定任务的过程。
• Hallucination: 幻觉 - 在AI中，指的是模型生成不在输入中的信息，可能导致输出不准确。
• Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据（如文本、图像和声音）的模型。
• Auto regressive model: 自回归模型 - 一种统计模型，它使用一个变量的过去值来预测其未来值。
• Diffusion model: 扩散模型 - 用于描述信息、疾病或创新等东西如何在群体中传播的模型。
• Tokenize: 分词 - 将文本分解成更小的部分（如单词或子词）的过程，通常在文本处理或自然语言处理中使用。
• Intuitive physics: 直观物理 - 人类对物理现象的直观理解，例如物体如何移动或互相碰撞。
• Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统，例如机器人或虚拟代理。
• CVPR (Computer Vision and Pattern Recognition): 计算机视觉和模式识别 - 专门研究计算机如何“看”并从图像或视频中理解内容的领域。
• Walkaround: 绕行 - 解决问题或障碍的方法

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

近3小时的硅谷AI重磅嘉宾现场对谈，下集光速奉上！如果你还没有听过上一期，赶紧去补课！

Hello World, who is OnBoard!?

简单介绍一下这次Monica 期待已久的嘉宾组合！ 两位都在OpenAI工作过的技术大牛，包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外，他的Twitter 连 Jeff bezos 都关注，是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊，Google Deepmind 的资深研究员，也是 Google 新一代大语言模型的深度参与者。最后，兼任主持和嘉宾的硅谷上市公司华人高管，硅谷徐老师, 每次来 Onboard! 串台都大受好评。

这是三个小时播客的第二部分。上一期的内容，我们深度讨论了最近AI领域最火的话题，Generative Agents, 生成式代理。这一期更是精彩纷呈，包含了AI领域更多核心话题，包括多模态大模型的研究进展，具备具身智能 embodied AI 的机器人如何打造，AI对saas的影响，我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论，你也可以拿起笔记本做笔记了。

几位嘉宾都是长期在美国工作生活，夹杂英文在所难免，不接受抱怨。Enjoy!

嘉宾介绍

我们都聊了什么

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

承诺大家的大波AI上新来啦！这次的嘉宾是Monica一直期待的重磅组合，能听到AI领域如此一线的核心从业者的分享，真是太难得了。这次在硅谷创新腹地，毗邻 Stanford 的 Palo Alto 线下录制, 不知不觉就聊了近三个小时，我们分成上下期，方便大家收听！

Hello World, who is OnBoard!?

两位AI研究者都在OpenAI 工作过。Nvidia 资深研究员 Jim Fan，是Twitter 上AI领域的顶尖KOL，连亚马逊的创始人 Jeff Bezos 都在关注，几乎每一条twitter 分析都是必读文章。戴涵俊是Google Deepmind 的资深研究员，更是Google 大语言模型的深度参与者。再次来串台的硅谷上市公司华人高管，硅谷徐老师, 持续高质量输出。

上期的内容，我们围绕最近AI领域最火的话题，Generative Agents（生成式智能体）。两位AI研究员都对这个领域有最一线的研究和实践经验，我们深入探讨了从AutoGPT开始，Generative Agents 从技术到应用，都有哪些新的进展、技术和场景的挑战，由此延伸到开源与闭源大语言模型的竞争格局。

跟EP35 Monica 与另一位AI研究员符尧的访谈对比听听就发现，Generative Agents 这个前沿领域，显然还有很多尚未有共识的地方。

下一期，我们会讨论更多AI领域核心话题，包括多模态模型，机器人应用落地，AI对saas的影响，LLM发展史，未来畅想等等，更是不容错过。赶紧关注Onboard!

几位嘉宾都是长期在美国工作生活，夹杂英文在所难免，不接受抱怨。Enjoy!

嘉宾介绍

Jim Fan（推特：@DrJimFan），Nvidia 高级 AI 研究科学家，曾在OpenAI工作，Stanford PhD 李飞飞实验室

戴涵俊（推特：@hanjundai），Google Deepmind 资深研究员，深度参与 Google 大语言模型项目，曾在OpenAI工作，Georgia Tech PhD

硅谷徐老师（推特：@h0wie_xu），硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师，「科技早知道」主播 ｜微信公众号：硅谷云｜ AI博客：howiexu.substack.com

主持：Monica（推特：Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

在粗糙简陋的 studio 顺利完成3小时录制！

Hanjun 的霸气车牌！

我们都聊了什么

02:50 几位嘉宾自我介绍，最近看到了什么有意思的AI项目

05:51 Hanjun @Google Deepmind: 最近发表的 speculative decoding 工作如何提升模型速度

09:14 Jim Fan @Nvidia: 为什么AI agents 是值得关注的方向，基于agents 有什么应用

12:42 什么是 AI agents? 好的 Agents 需要怎样的核心能力

16:54 企业场景落地 AI Agents 应用，主要有哪些挑战？

25:18 AI Agents 目前落地的挑战，是由底层基础模型的能力决定的吗？

35:56 如何看待目前 AI Agents 不同的实现方式？Adept AI 的形态会被取代吗？

39:57 未来工具使用更多是 AI agents 来完成，对于应用生态意味着什么？

48:18 Llama 2 开源对于LLM生态意味着什么？底层基础模型会赢家通吃吗？

56:58 如何理解开源和闭源模型的壁垒？

68:24 我们需要领域专有模型吗？

我们提到的内容

• Hanjun 提到的论文：Accelerating Large Language Model Decoding with Speculative Sampling
• Jim 的论文: Voyager: An Open-Ended Embodied Agent with Large Language Models
• Jim 提到的论文：Generative Agents: Interactive Simulacra of Human Behavior
• 开源项目 Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous
• Llama 2: Meta 开源的大语言模型
• Adept.ai: a new way to use computers. Transformer 论文作者创办
• Character AI
• Jim 提到的基于大语言模型的游戏：病娇AI女友

•  MPT-7B (MosaicML Pretrained Transformer): MosaicML 发布的可商用开源大语言模型
• Anthropic: Transformer 论文作者创立的大语言模型公司
• Harvey：为律所设计的生成式AI工具
• 讨论 Google 等大厂LLM竞争壁垒的文章 ($$)：Google "We Have No Moat, And Neither Does OpenAI"

重点词汇

• RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。
• Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型，使其适应特定任务的过程。
• Hallucination: 幻觉 - 在AI中，指的是模型生成不在输入中的信息，可能导致输出不准确。
• Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据（如文本、图像和声音）的模型。
• Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统，例如机器人或虚拟代理。
• Quantization: 量化 - 限制用于表示数字的位数的过程，有助于减小机器学习模型的大小并加速计算。
• Mixture-of-experts (MoE): 专家混合模型 - 一种机器学习方法，其中模型的不同部分专门处理不同类型的数据或任务。
• Inference: 推断 - 已训练的AI模型基于所提供的数据预测结果的过程。
• Reasoning: 推理能力 - AI系统根据信息或一组事实得出结论的能力。
• NPC (Non-Player Character): 非玩家角色
• RPA (Robotic Process Automation): 机器人流程自动化
• First class citizen: 一等公民

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

OnBoard! 一大波更新要来啦！Monica 最近一个月都在硅谷，之前怠慢了一段时间，很快就会补上啦。

这次的节目非常特别，是在ICML 2023 (International Conference on Machine Learning, 国际机器学习大会）的现场录制的。这次的嘉宾，爱丁堡大学博士生符尧，更是众望所归，相信最近关注大语言模型的朋友都不陌生。他的好几篇关于大语言模型能力研究的文章，几乎都是业内必读。

Hello World, who is OnBoard!?

正如符尧在一篇总结文章中所说：“ICML 2023，OpenAI, Anthropic, Google DeepMind, Meta，各大名校的 rising star PhD，顶级 hedge fund 与 VC ，most popular startups 悉数到场，这里是诸神之战的最前线。”

我们就在诸神之战的现场，回顾了ICML与各位大神现场交流的见闻，fuyao对于数据、RLHF等大模型核心研究领域的思考，还有对震动行业的、刚刚发布的LlaMA-2的看法。

这次在室外录制，嘉宾还在生病，不免有些杂音。但是我想这对于关注干货的听众来说，都不是问题。相信你也会受益匪浅。Enjoy!

*本期涉及比较多的术语，需要你对大模型（LLM）有基础的技术了解。

嘉宾介绍

符尧，爱丁堡大学的博士生，研究大语言模型的推理能力。符尧在北京大学完成了本科学位，在哥伦比亚大学完成了硕士学位，曾在MIT-IBM AI 实验室，Allen Institute for AI (AI2) 等担任实习研究员。他的工作主题包括了大语言模型演化，复杂推理，涌现能力，以及如何从第一性原理构造模型。他以《拆解追溯 GPT-3.5 各项能力的起源》为代表的文章系列详细阐述了语言模型的能力机制，在中文和全球互联网上都产生了重大的影响力。

我们都聊了什么

02:05 凡尔赛开场 & 嘉宾付尧的介绍

04:33 认识ICML，参加诸神之战的盛会是什么体验；付尧入选的论文如何探讨模型能力的遗忘

08:09 过去半年，对模型能力有什么新的理解

09:36 解决模型能力遗忘为什么重要，有什么挑战

13:49 模型能力遗忘对于垂直领域模型有什么影响

17:39 蒸馏 (Distillation) 技术为什么重要，现在研究和落地处在什么阶段

24:00 算力紧张，以后更多的创新研究都会发生在业界而不是学术界吗

26:39 ICML上看到了哪些有意思的研究 - paper 推荐！

30:41 最火的话题1：基于LLM的agents 构建有什么挑战和解法

37:36 现在的大语言模型能力可以支持怎样的Agent?

48:51 最火的话题2：解读 Llama 2，最让人印象深刻的变化是什么？

56:25 基于Llama 2,学术界可以有什么研究方向？

59:06 ICML 上亲历的大神交流

61:57 符尧还在关注哪些新的研究方向 & 我们对 Agent 集群的畅想

我们提到的内容

• 符尧的ICML论文：Specializing Smaller Language Models towards Multi-Step Reasoning

• T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

• Llama 2: Open Foundation and Fine-Tuned Chat Models

• Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings

• The Flan Collection: Designing Data and Methods for Effective Instruction Tuning

• FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU

• PAL: Program-aided Language Models by Aman Madaan

• 符尧的Llama 2 讨论会 memo (7/18/2023)

• RL: Reinforcement learning, 强化学习

• SFT: Supervised Fine Tuning, 监督微调

• RLHF: Reinforcement Learning with Human Feedback, 人类反馈强化学习

• Distillation: 蒸馏，基于大语言模型训练小模型的方法

• Scaling law: A mathematical relationship where performance improves with increasing size, 规模定律

• Alignment tax: Additional effort to align a model's behavior with human values, 对齐税

参考文章

• 符尧的个人主页

• ICML 2023 手记 - 诸神之战的最前线

• 符尧的博客

• A Closer Look at Large Language Models Emergent Abilities, by Yao Fu

• How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources, by Yao Fu

• Training language models to follow instructions with human feedback, by John Schulman 

• Scaling Laws for Reward Model Overoptimization

• Emergent Abilities of Large Language Models, by Jason Wei

• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, by Jason Wei

别忘了，关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

好久不见，祝大家端午安康！聊了这么多AI技术，是时候聊聊更实际的问题：AI产品如何在海外做增长？

近年来，我们看到越来越多的中国软件创业公司，尤其是最近涌现的 AI 应用类公司，都会考虑以国际市场作为第一站。PLG，产品驱动增长，也是大多数海外AI产品采用的增长和商业化模式。技术在变，Go-To-Market 的很多经验，万变不离其宗，或许可以让大家在探索的路上少走一些弯路。

Hello World, who is OnBoard!?

今天这位嘉宾，就是Monica 一直想要邀请来的硅谷软件领域的实战派大牛，Hila Qu。Hila 原来在大名鼎鼎的开源上市公司 GitLab 担任 Head of growth, 增长负责人。Gitlab之前，Hila也在硅谷几个不同阶段的ToB, ToC公司，担任过核心增长职位。

硅谷最一线的创新公司是怎么实践PLG的，Hila 大概是最有发言权的人之一了。Gitlab从开源产品到收入超过4亿美金的上市公司，更是PLG的典范。这次与Hila长达两个多小时的对话，全都是一线实战干货：

ToB, ToC 产品增长有什么不同？

怎样的公司和产品适合PLG？

PLG模式需要怎样的销售？

如何打造围绕产品的增长团队？

产品早期数据分析体系如何搭建……

真的可以拿出笔记本了。Enjoy!

嘉宾介绍

Hila Qu（Twitter @HilaQu）, 前 Gitlab 增长总监，从0到1搭建增长体系。曾任硅谷Fintech 独角兽 Acorn 增长副总裁。现在，Hila 是硅谷顶尖产品与增长培训平台 Reforge 入驻企业家（EIR），也是独立企业增长顾问，服务企业包括 Nord Security, Replit StreamNative 等。

Hila 的 LinkedIn, 公众号：兜里有糖甜, Medium

Email: hui.qu.2009 艾特 gmail.com

我们都聊了什么

01:57 Hila 的职业之路，从ToC 到ToB 公司做增长如何转型

05:39 正本清源，Hila 如何定义PLG？为什么说 PLG 不只是传统的 Growth hacking （增长黑客）？

08:10 ToC 产品的增长与 SaaS 公司 PLG 有哪些核心差异？为什么说对于 SaaS 公司，获客只是“增长”的第一步？

12:42 怎样的产品适合采用 PLG ？

16:19 为什么 PLG 需要好的产品 onboarding 体验与销售两条腿走路？

21:41 公司的不同阶段，如何平衡大客户需求与 PLG 增长知之间的优先级？

27:41 给创始人的 PLG 101：怎样是一个完整的PLG 增长体系流程？

33:53 什么是产品体验的 Aha Moment？如何设计一个好的 Aha Moment? 有什么常见的误区？Gitlab 如何定义 golden user journey?

43:40 企业发展不同阶段，PLG 产品的数据体系如何搭建？

48:30 收费：什么时候开始收费？为什么说收费体系的建立是一个动态过程？

57:48 SaaS 产品定价如何设计和跟踪？我们能从 Netflix 上学到什么？

61:44 Gitlab 的实践分析：如何设计实验？从activation 到 retention, 如何确定用户流程中的北极星指标？

68:47 什么是获客中的 PQL (Product Qualified Leads)? 什么是好的 PQL？

74:54 什么是一个好的增长实验？早期数据不足的时候，如何设计实验？

79:47 如何从0到1搭建增长团队？Head of Growth 入职第一件事应该做什么？

87:37 搭建产品数据分析体系，有哪些常见的挑战和误区？

90:02 招聘，招聘！什么是适合 PLG 的增长和销售人才？应该具备哪些能力？

96:55 AI 它又来了：如何识别产品早期的“噪音用户”？

99:41 Hila 提供哪些 PLG 相关的咨询服务？如何与你的增长顾问有效沟通？

104:07 快问快答！Hila 推荐了一本童书？！

我们推荐的内容

• Hila Qu 的公众号：兜里有糖甜
• Hila 的书：《硅谷增长黑客实战笔记》
• Hila 推荐的书：The Almanack of Naval Ravikant: A Guide to Wealth and Happiness
• Hila 推荐的书：Someday
• Hila Qu:【万字长文】SaaS增长新趋势：产品驱动增长PLG
• Hila 的英文文章：Five steps to starting your PLG motion
• Hila 的英文访谈: The ultimate guide to adding a PLG motion | Hila Qu (Reforge, GitLab)
• Lenny's Newsletter 

参考文章

• 草根SaaS产品：如何定价，打包，涨价？
• 45张PPT了解《硅谷增长黑客实战笔记》
• GitLab's Hila Qu on What B2B Companies Can Learn About Growth from B2C - OpenView
• Hila Qu (GitLab): B2B vs. B2C Growth
• How to Build A Growth Model (Part 1)
• How to Build A Growth Model (Part 2)

别忘了，关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~

新的一期 OnBoard! 的创始人深度访谈来啦！打造面向全球市场的 SaaS 公司，正在成为越来越多中国 SaaS 公司关注的话题。诞生于香港、壮大于深圳、服务于全球的 AfterShip，就是这里面不得不提的一个标杆。

Hello World, who is OnBoard!?

AfterShip 成立于 2012 年，是一家服务国际电商的 B2B SaaS 公司，从第一天成立起就面向国际市场，业务今已遍布北美、欧洲、亚洲等世界各地，团队成员来自全球不同国家的 20 多个城市。客户包括 eBay、Wish、Shopee 等国际电商平台，以及 Anker、Watsons、EcoFlow 等 17,000 多家品牌。2021 年，公司获 Tiger Global 领投 6,600 万美金的 B 轮融资，刷新电商 SaaS 赛道 B 轮融资记录。公司旗下有 AfterShip Tracking（物流查询）, Email（邮件营销）, Returns（退换货管理）, Shipping（多物流商发货）等产品矩阵，涵盖售前售后各个环节。

今年正是 AfterShip 成立的第 11 个年头，趁着创始人 Teddy 回国，我们来到 AfterShip 的深圳总部，在据说由设计过 Meta 总部的设计师一手打造的“海景空间”里，完成了现场录制。Teddy非常认真和细致地跟我们分享了这个漫长过程中的教训、收获和展望。

从产品和客户的全球化，到团队和组织的国际化，作为国内 Global SaaS 的先行者，Teddy 无数细节的坦诚分享，一定是你能听到的、少有的原汁原味的创业故事。

你会感受到 Teddy 非常细节控的风格，当然还有，Teddy 努力了很久还是港味浓浓的普通话~哈哈！

话不多说，大家Enjoy！

对了，播客可以打赏你知道嘛~！☕☕☕🥂

我们都聊了什么

最后，AfterShip正在高速发展，求贤若渴，感兴趣的朋友请戳：查看更多职位

别忘了！同步关注两位 Host 的微信公众号，看更多干货内容哦：

大家的点赞、评论、转发是对我们最好的鼓励！希望你分享给对这个话题感兴趣的朋友哦~

如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。感恩！