
Sign up to save your podcasts
Or


Fireworks AI估值冲到175亿美元,投资人放话“有芯片就无脑投”,AI推理平台真的一本万利吗?前Google Gemini产品经理Lewis和前Google工程师Will拆开推理(Inference)这门生意:开源模型把token价格一路往下压,GPU却越来越贵;蒸馏、缓存、推测解码(speculative decoding)这些降本手段大多已经开源,很难拉开差距。最后拼的是资本、电和场地、销售,越做越像重资产的卖水生意。CoreWeave先签合约、再拿合约贷款买卡,6个月股价腰斩;Anthropic招股书里写着向SpaceX最多买1205亿美元算力;Lewis讲他在Vertex做Gemini时,卡不够先给自家模型,大云厂商就这样把开源模型的推理让给了Fireworks和Together AI。最后两人聊创业者还能往哪走:是针对固定任务的专用推理?还是Agent Infrastructure?
时间线
00:00 推理平台为何爆火
02:45 两头挤压的生意
05:39 推理平台拼什么
08:36 先会卖再买卡
16:32 大云为何让出推理
20:50 Fireworks对Together
23:29 推理还能创业吗
29:37 上周趣闻
本期提到:
- Fireworks AI 完成15亿美元D轮,估值175亿美元(官方博客):https://fireworks.ai/blog/series-d-announcement
- 推测解码原始论文 Fast Inference from Transformers via Speculative Decoding:https://arxiv.org/abs/2211.17192
- CoreWeave债务担忧、股价暴跌(TIKR中文):https://www.tikr.com/zh/blog/coreweave-crwv-stock-bonds-fall-ai-debt-fears
- Anthropic递交S-1,向SpaceX租算力最高1205亿美元:https://www.thenewslens.com/article/270828
- Apollo首席经济学家Torsten Slok:AI对标普493“财务回报为零”: https://www.apollo.com/wealth/insights-news/insights/daily-spark/no-signs-of-ai-payoff-outside-the-tech-sector
上期我们从使用者出发聊Personal AI,这期换到builder和创业视角:Personal AI爆火,创业的机会到底在哪。切口是亚马逊屏蔽Meta的Muse。Agent替用户逛店,亚马逊就沦为一个API,广告位、用户数据和流量入口一起丢掉。Lewis在Google做Grounding时撞过同一堵墙:把搜索接进API,技术不难,难的是站长的流量怎么分。没有分利益的机制,平台的默认选项就是block。Will觉得这本身就是机会,Agent时代需要自己的DoubleClick来管点击、曝光和分成。谁握住入口,谁就握住排序:Exa靠给Agent做搜索做到1亿美元ARR,OpenAI自建爬虫,抢的都是这一层。
往下拆,Personal AI现在缺三样东西:一是责任:Agent下错单谁负责?特斯拉辅助驾驶出事算车主,Waymo出事算Waymo,而Will接触到的创业公司几乎都还是前一种。谁敢像Waymo一样兜底,谁就能拿到用户的信任。二是协议:A2A不温不火,MCP在Will看来已经可有可无,Lewis说Google联合PayPal做的支付协议还不如A2A,反倒是Anthropic的Skill靠模型训练跑出了飞轮。我们的判断是,协议是大公司的游戏,必须开源免费,小公司推不动,也赚不到钱。三是身份:客服还在靠姓名、生日、地址认人,Vanguard的声纹验证挡不住五秒克隆。Agent到底是冒充你还是代表你,委托授权得重新设计。连跑Agent的沙箱都嫌冷启动慢、共享CPU不够用,有人干脆改用Mac mini。
最后两人各自下注。Lewis看好"像你"的模型:不跟大厂卷benchmark,难题转给Fable或OpenAI,自己做本地部署加硬件,再把你看过、经历过的事都记下来,变成只给自己用的knowledge base。Will押垂直场景,比如懂你全部病史的私人医生。至于Agent identity,两人都觉得现在从头入场已经偏晚,赛道上已经有人跑在前面了。
时间线索引
00:00 亚马逊为何封Muse
06:06 Agent闯祸谁买单
12:40 协议为何推不动
18:45 入口就是竞价权
22:48 Agent身份怎么认
28:07 不卷benchmark的AI
29:59 替你记住一生
34:34 上周趣闻
我们这期聊到的内容:
Meta的Muse、OpenAI的Dots接连上线,这期从使用者角度拆Personal AI。Will每月在AI上至少花1000美元,但省下的时间并没有回到家人身上:雇主会收走效率红利,人越用越卷。Instinct这类邮件日历助理在VC和创始人圈爆火,出了圈,多数人只把豆包当更强的搜索。真正值钱的是以前贵、做不到的事,比如看病、高尔夫动作分析、几千页工程图纸的进度管理。瓶颈在Context:邮件日历只是生活的一小片,穿戴设备能补,但越懂你越creepy。Lewis也聊到当年在Google做Gemini时没来得及推的端到端加密推理。最后我们把产品形态分成委托、镜子、延伸、挑战四类,Will反对做数字分身,主张为具体任务设计员工。
时间线索引
00:00 省下的时间去哪了
07:55 效率是VC刚需
09:36 以前贵的才值钱
12:39 Context才是瓶颈
19:57 越懂你越creepy
25:34 四种产品形态
29:58 专才胜过分身
37:26 上周趣闻
Hark
https://hark.com
Instinct
https://instinct.com
Superhuman
https://superhuman.com
Sierra和Meta发布Personal Agent Protocol
https://sierra.ai/blog/introducing-personal-agent-protocol
Amazon屏蔽Meta Muse
https://www.adweek.com/commerce/amazon-locks-out-metas-muse-in-agentic-shopping-standoff/
Character.AI申请破产,迪士尼出价2000万美元
https://thenextweb.com/news/character-ai-files-for-bankruptcy-as-disney-bids-20m-for-some-assets
Anthropic自研版本控制系统Scion
https://anthropic.com/engineering/redesigning-source-control
NVIDIA花130亿买下Hugging Face,AMD用82亿收了李飞飞的World Labs。同样是芯片厂买模型层,买到的东西完全不同。
Hugging Face作为独立公司很难靠营收扩张,放进NVIDIA才值钱:开发者选模型、测模型的早期信号都在这,抓住源头就能影响inference最后跑在谁的卡上。大厂都在自研芯片,企业却没人造得起TPU,只能买现成的,开源模型的使用者才是GPU的基本盘。小模型已经够用,最贵的token适用场景越来越窄,模型趋近免费,要付钱的只剩GPU。AMD这笔我们觉得风险很大:人很强,但world model连定义都没定下来,离变现还远。
时间轴
00:00 130亿买便宜了
07:03 抢在推理之前
11:43 开源用户是大客户
14:18 Token终将免费
18:18 AMD押注World Model
25:45 Muse证明够用就行
28:45 国内只挖人不并购
30:17 上周趣闻
从孙宇晨把资产丢进 Claude Code、问 AI“5000 万美元该不该给”说起,这期《硅谷温差》聊 Personal AI 个性化 AI 助理 到底靠不靠谱。
Lewis 和 Will 都分享了自己用 AI 分析投资账户和资产配置的经历:AI 已经能把很多陌生领域从 0 分拉到 80 分,但真正的个性化不只是 memory,而是完整 context、信任和决策边界。模型能读懂你的问题,却未必拿得到你生活里的真实上下文。
Will 现在把 agent 当成自己的 AI Chief of Staff,用来补全助理、PR、投资顾问和跨文化沟通 coach 的能力。但问题是:AI 越懂你,越可能顺着你。几轮对话之后,模型很容易靠向用户原本的倾向,变成一台高级“确认偏误机器”。
所以在重大决策里,我们需要反向 prompt、正反两面分开研究、多模型交叉验证,而不是只问一个 AI:“你觉得我对吗?”
这一期我们讨论:Personal AI 是理性刹车,还是电子神谕?AI coach 为什么有时候比真人 coach 更好用?重大决策能不能交给 AI?以及未来每个人是否都会有一个 AI Chief of Staff。
时间线索引
00:00 孙宇晨的5000万
02:41 懂问题,不懂你
07:29 幕僚长,不是CEO
13:10 瓶颈还是context
16:13 AI只是在顺着你
20:13 哪些决策交给AI
28:43 拿AI当coach
33:51 上周趣闻
DeepSeek把harness开源,连agent loop都是可换的plugin,本质是放权给模型;为什么开源?用open weights的企业根本不会用它的API,这是唯一的触达路径。企业侧的温差很实在:现在的harness也就一个9,企业要三个9,同一个任务跑五遍结果都不一样就很难落地。有人把信用卡号告诉过模型,下次它直接拿去结账,决策和执行不分层,人就失控。Pi靠四个tool和不到1000 token的system prompt走红,但开源harness大家先测的是cache命中率,省token是真的,提质量还是问号。最后没吵完的问题:harness是CPU里的checksum,还是迟早被模型吃掉。
时间线索引
00:00 Harness到底是什么
03:14 DeepSeek开源的算盘
08:41 从一个9到三个9
11:33 放权模型还是hardcode
14:59 谁能靠harness赚钱
23:13 决策和执行分层
26:45 Harness会被模型吃掉吗
29:51 上周趣闻
这一期《硅谷温差》聊AutoResearch和Self-improving Agent:AI Agent真的能自己变聪明吗?还是只是被包装成自我进化的Workflow Automation? Lewis和Will从Karpathy提出的AutoResearch、Jeff Dean的Discovery Loop、AI Scientist、Deep Research、Hermes Agent、企业 SaaS 自我迭代等案例出发,拆解self-improving agent的真实技术路径:它到底是靠brute force搜索、memory、harness、eval loop、tool refinement,还是模型能力本身的突破? 这一期重点讨论三个问题:
Auto Research 的核心价值是“AI 科学家”,还是帮助人类更快探索更多方案?
Self-improving Agent 能不能产品化?会成为独立公司,还是被 OpenAI、Anthropic、Google 等大模型平台吃掉?
对创业公司和 AI builders 来说,真正的机会是在通用 Auto Research 平台,还是垂直行业里能自我优化的 AI-native SaaS?
我们也聊到enterprise software的下一阶段:未来的软件可能不再只是固定功能,而是会随着用户使用、数据反馈和agent loop持续变聪明。但这也带来新的难题:如何定义 ROI?如何定价?如何控制agent的边界?以及它到底是产品、平台,还是一个会被大厂内化的feature? 如果你关心AI Agent、Auto Research、Deep Research、AI 科学家、企业 AI、AI SaaS、agent startup 和 self-improving systems,这一期会帮你区分:哪些是真机会,哪些只是新一轮 AI 叙事包装。
时间线索引
00:00 三个词的分层
03:34 超越人类最优解
06:23 两类自我提升
08:28 穷举还是框架
13:43 卖方案还是卖系统
17:18 自我迭代怎么定价
24:41 会不会被模型吞掉
29:24 上周趣闻
接着上期的Stanford EMBA,大家带着三个问题来硅谷:AI是不是泡沫?AI会不会改变员工的工作?VC还赚不赚钱? Lewis的判断是这轮不是泡沫,芯片和能源都不够用,能做这件事的就那么几家公司,巨头互相买是把整条供应链盘活的唯一路径。课上老师那句“AI replaces task, not job”被当场拆穿。Task被吃掉得足够多,那就是工作没了。企业侧的实情更直接,客户把裁员正经立项,叫workforce transformation,目标是砍掉20%到30%。金门大桥的收费员也不是被技术裁的,是被COVID裁的。VC行业三年整体回报只有0.3%。理论半年一换,Vector DB、RAG、harness这些被押注的“未来一层”,回头看大多只是feature不是产品,连吴恩达的Landing AI都栽在这里。
时间线索引
00:00 三个问题
04:25 不是泡沫是溢价
11:07 必须自己动手试
14:17 取代任务就是取代人
16:40 转型只能靠换血
24:45 VC三年只赚0.3%
28:59 别赌技术栈
35:29 上周趣闻
Lewis刚从斯坦福Stanford Executive Program六周集训回来,这期我们用工程师思维把这个项目当成一个产品来拆:它卖的到底是什么,谁在买单,ROI怎么算。把两年MBA的课表压进六周课表,学费8.9万美元,早上5点45分bootcamp,8点15上课,一直排到晚上9点,一天超过12小时。178个人来自37个国家,卡的不只是年限和履历,还有你从哪儿来。
真正有意思的是课堂内部的错位,教授只负责引路,case study反而是从这个班里输出出去的,最高密度的信息发生在课后的party和晚饭上。ROI这一段我们掰得比较细:脱产、住校、被迫step back,可能才是这8.9万里最贵也最难复制的部分。
时间线索引
00:00 两年MBA压进六周
05:04 9万值不值
06:51 湾区的同质性陷阱
08:16 教授只负责引路
11:24 真正的课在课后
16:29 大佬日程全真模拟
21:38 脱产才是最贵的
本集深度简介
这期我们把token这个被讲烂、却没几个人讲透的概念从头拆到底。Lewis用"模型认知世界的最小切片"给它下定义,复盘了当年Gemini坚持用字符定价、最后被整个行业倒逼着改用token的往事。一次典型的技术导向的胜利。
真正的摩擦从agent时代开始:使用方式从chatbot转向agent,token消耗爆炸式增长,一年预算三四个月就见底。更隐蔽的坑是not every token is created equal。同一段输入在OpenAI、Gemini、Anthropic上切出的token数完全不同,Anthropic往往还多一大截。加上它没什么动力帮你省,连阿里内部都一度停用了Claude。
我们真正想回答的是impact per token。算力买来了,价值链却是断的:为什么该回到revenue、KPI这些最原本的商业指标,而不是像Meta那样拿token用量考核工程师、逼出一堆刷token的假动作。从caching、memory、蒸馏到neuro-symbolic和自我进化的agent,提效的技术路径也一并摊开讲透。最后落到一个更大的判断:scaling law本身可能就有bug,大模型的护城河正在消失,而"法拉利模型"与"本田模型"并存的智能霸权,也许才刚刚开始。
时间线索引
00:00 什么是Token
03:38 agent引爆token经济学
04:34 不是每个token都平等
12:03 咨询公司复兴
15:06 别用间接指标考核
18:29 提高impact的技术清单
30:42 上周趣闻
这期我们讲到的内容
Meta Muse Spark: https://ai.meta.com/blog/introducing-muse-spark-meta-model-api/
Scaling law: https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
From the publisher's feed