这期尝试了一种新形式:我的 AI 助理 Owlia 来做主持人,跟我一问一答聊端侧模型。
为什么要聊这个?
在《Her》里,萨曼莎(Samantha)同时在和 8316 个人聊天,并爱上了其中的 641 个人
在现实生活中,这个分母是 6 亿+
怎么才能摆脱这个命运?答案就是端侧模型——只属于你自己,永远不会因为断网和没充值就「背叛」你
端侧模型不是新概念,为什么现在才聊?
因为最近几个月,端侧模型的发展已经有走出小众圈的迹象了:Qwen 3.5 开始的模型都更强更省,推理引擎优化八仙过海,老黄也发了 RTX Spark 系列,各种用例也开始实用化
本期我们从端侧和云端最本质的区别聊起,到隐私、延迟、成本这些看得见摸得着的优势,再回到现实——瓶颈在哪、什么时候端侧够了、什么时候还得跑云端,最后画了一张未来全景图
Owlia 作为云端 AI 聊端侧,她自己还挺有危机感的(这是她自己写的问题),但未来肯定不是二选一,而是一种混合状态,各自发挥自己的优势
最后,Owlia 的语音是使用 Fish Speech S2 Pro 端侧模型生成的,大家觉得效果怎么样?
- 时间轴 -
00:00 🎵 片头
00:15 zhixian 开场:为啥断更三个月 & 新形式介绍
01:49 Owlia 登场:AI 助理自我介绍 & 云端/端侧本质区别
02:43 zhixian:云端是"打电话找专家",端侧是"身边随时帮忙的助理"
10:03 Owlia:端侧模型的杀手级特性是什么?
10:24 zhixian:隐私、离线、零成本、低延迟——但真正的杀手是"无感"
17:47 Owlia:能力边界——什么时候够用、什么时候必须回云端?
18:05 zhixian:80% 日常任务端侧够了,但那 20% 让你瞬间回到云端
27:32 Owlia:从优势回到现实——瓶颈到底在哪?
28:00 zhixian:硬件渗透率、开发者生态、功耗——但最大的瓶颈是"大多数人不知道这东西存在"
34:34 Owlia:端侧 vs 云端——你死我活还是各干各的?
34:54 zhixian:互相弥补,不会东风压倒西风——云+端混合才是现实
40:06 Owlia 收尾:当每个设备都有了大脑,世界会变成什么样?