人民公园说AI

要不要本地部署DeepSeek?核心是平衡成本、精确、智能!


Listen Later

如题。

00:00 如果说ChatGPT是AI的iPhone时刻,那DeepSeek将是AI的安卓时刻!参考上期播客

一、本地部署DeepSeek真的可行吗?

04:19 这样说说吧,奥拓就别想着买奥迪的发动机了

09:22 为什么大家希望本地部署?当年安卓刚出来,人人都想去下个ROM刷个机,就好像今天大家都想试着部署DeepSeek,为什么有这种心理呢?

12:22 混合部署与蒸馏小模型未来如何?理论上会有更多蒸馏的小模型出来,利好各方面的创业,但是难点还是如何调优,而不是模型本身的能力

二、要不要本地部署,核心是考虑:成本vs精确vs智能

20:27 成本vs精确vs智能。本质上要解决这个三角,除了调优以外,也考验你对需求的结构能力

29:55 云服务是AI的底座,AI只是云服务的卖点。如果说 DeepSeek模型是满血的,那么运营就是残血状态,毕竟AI的运维能力和成本不是小厂能cover的

34:51 成本!深度学习推理与本地化架构的成本。要考虑到运维工程师、部署环境和工具可能每六个月就会完全迭代一次,这将是很大的成本

44:33 最大的悖论!有能力把模型做到本地的团队,很可能做不好数据标注和调优,很可能不懂市场和运营。更重要是你要想明白用什么,是总结、生成还是推理,不同的用法,部署的模式不一样

47:14 做大模型和做应用本质上是两套班子。为什么OpenAI要投资Harvey和Speak,理论上他们都是基于GPT做的优化,但是产品架构和团队的技术能力完全不同,无法用一套班子cover掉

三、哪些行业适合本地部署模型?

53:44 哪些业适合本地部署?1)只需要归纳、总结、生成的,不需要过高智能的;2)数据有限但需要专业数据标注的,如法律、会计师

58:28 个人层面的AI,未来文件夹式的文件结构将会被颠覆,取而代之的是本地的自然语言的搜索和展现

01:04:49 彩蛋

【关注主播】:

📕小红书:叫我小苏就好啊

📺B站:叫我小苏就好啊

📱微信:Roisu117

【关注频道】:

📕小红书:人民公园说AI

▶️油管:人民公园说AI

🐦推特:人民公园说AI

...more
View all episodesView all episodes
Download on the App Store

人民公园说AIBy JustSayAI

  • 5
  • 5
  • 5
  • 5
  • 5

5

3 ratings


More shows like 人民公园说AI

View all
枫言枫语 by 枫影JustinYan、自力hzlzh

枫言枫语

24 Listeners

津津乐道 by DAO

津津乐道

119 Listeners

声东击西 by ETW Studio

声东击西

317 Listeners

三五环 by 刘飞Lufy

三五环

44 Listeners

What's Next|科技早知道 by 声动活泼

What's Next|科技早知道

176 Listeners

硅谷101 by 硅谷101

硅谷101

184 Listeners

商业就是这样 by 商业就是这样

商业就是这样

272 Listeners

知行小酒馆 by 有知有行

知行小酒馆

351 Listeners

晚点聊 LateTalk by 晚点 LatePost

晚点聊 LateTalk

23 Listeners

声动早咖啡 by 声动活泼

声动早咖啡

263 Listeners

起朱楼宴宾客 by 大卫翁

起朱楼宴宾客

51 Listeners

半拿铁 | 商业沉浮录 by 潇磊&刘飞

半拿铁 | 商业沉浮录

291 Listeners

高能量 by 李翔李翔

高能量

30 Listeners

厚雪长波 by 雪球官方账号

厚雪长波

8 Listeners

品牌消费观 by 品牌消费观

品牌消费观

3 Listeners