人民公园说AI

要不要本地部署DeepSeek?核心是平衡成本、精确、智能!


Listen Later

如题。

00:00 如果说ChatGPT是AI的iPhone时刻,那DeepSeek将是AI的安卓时刻!参考上期播客

一、本地部署DeepSeek真的可行吗?

04:19 这样说说吧,奥拓就别想着买奥迪的发动机了

09:22 为什么大家希望本地部署?当年安卓刚出来,人人都想去下个ROM刷个机,就好像今天大家都想试着部署DeepSeek,为什么有这种心理呢?

12:22 混合部署与蒸馏小模型未来如何?理论上会有更多蒸馏的小模型出来,利好各方面的创业,但是难点还是如何调优,而不是模型本身的能力

二、要不要本地部署,核心是考虑:成本vs精确vs智能

20:27 成本vs精确vs智能。本质上要解决这个三角,除了调优以外,也考验你对需求的结构能力

29:55 云服务是AI的底座,AI只是云服务的卖点。如果说 DeepSeek模型是满血的,那么运营就是残血状态,毕竟AI的运维能力和成本不是小厂能cover的

34:51 成本!深度学习推理与本地化架构的成本。要考虑到运维工程师、部署环境和工具可能每六个月就会完全迭代一次,这将是很大的成本

44:33 最大的悖论!有能力把模型做到本地的团队,很可能做不好数据标注和调优,很可能不懂市场和运营。更重要是你要想明白用什么,是总结、生成还是推理,不同的用法,部署的模式不一样

47:14 做大模型和做应用本质上是两套班子。为什么OpenAI要投资Harvey和Speak,理论上他们都是基于GPT做的优化,但是产品架构和团队的技术能力完全不同,无法用一套班子cover掉

三、哪些行业适合本地部署模型?

53:44 哪些业适合本地部署?1)只需要归纳、总结、生成的,不需要过高智能的;2)数据有限但需要专业数据标注的,如法律、会计师

58:28 个人层面的AI,未来文件夹式的文件结构将会被颠覆,取而代之的是本地的自然语言的搜索和展现

01:04:49 彩蛋

【关注主播】:

📕小红书:叫我小苏就好啊

📺B站:叫我小苏就好啊

📱微信:Roisu117

【关注频道】:

📕小红书:人民公园说AI

▶️油管:人民公园说AI

🐦推特:人民公园说AI

...more
View all episodesView all episodes
Download on the App Store

人民公园说AIBy JustSayAI

  • 5
  • 5
  • 5
  • 5
  • 5

5

7 ratings


More shows like 人民公园说AI

View all
疯投圈 by 黄海、Rio

疯投圈

113 Listeners

声东击西 by ETW Studio

声东击西

324 Listeners

三五环 by 刘飞Lufy

三五环

45 Listeners

科技乱炖 by DAO

科技乱炖

25 Listeners

商业就是这样 by 商业就是这样

商业就是这样

291 Listeners

大小马聊科技 by 大小马聊科技

大小马聊科技

5 Listeners

Web3 101 by Web3 101

Web3 101

24 Listeners

半拿铁 | 商业沉浮录 by 潇磊&刘飞

半拿铁 | 商业沉浮录

323 Listeners

42章经 by KaiQu

42章经

12 Listeners

起朱楼宴宾客 by 大卫翁

起朱楼宴宾客

52 Listeners

厚雪长波 by 雪球官方账号

厚雪长波

10 Listeners

投资实战派 by wong永庆

投资实战派

4 Listeners

一劳永逸 by 麦迪森

一劳永逸

4 Listeners

小Lin说 by 小Lin说

小Lin说

52 Listeners

涉市未深 by 九州_Aaron

涉市未深

8 Listeners