矽谷輕鬆談 Just Kidding Tech

S2E37 AI 的「小」革命:小型語言模型才是未來?


Listen Later

加入頻道會員,解鎖更多專屬福利:

👉 https://www.youtube.com/channel/UCJIPFjZSCWR15_jxBaK2fQQ/join


雖然大家都在追求「越大越好」的 AI 模型,但真正讓 AI 普及、走進每個人生活的關鍵,可能是那些「小」到能在你手機上跑的模型。


Google、Meta、微軟甚至蘋果,都在默默佈局小型語言模型。它們更快、更便宜、更懂特定領域,甚至在某些任務上已經超越大模型。


這集我們就來聊聊:

🤖 為什麼小模型可能才是 AI 普及的關鍵?

⚙️ 小模型是怎麼被「蒸餾」出來的?

💡 MiniLLM 為什麼有時能打敗老師?

📱 當 AI 可以在手機上運行,Nvidia 的 GPU 還會是主角嗎?

🏁 蘋果的「混合模式」策略,會不會是最後的贏家?


🎧 如果你也好奇 AI 的下一場戰爭,不是在雲端,而是在你手上,這集你一定要聽。

🔗 《矽谷輕鬆談》傳送門 👉 https://linktr.ee/jktech

(00:00) 開頭

(01:05) 小型語言模型有什麼特點?

(03:36) 成本省近百倍?這才是真正的關鍵

(04:33) 什麼時候該用大模型 vs 小模型?

(06:20) 小孩子才做選擇:我大小模型都要!

(07:27) 或許蘋果才是最後的贏家?

(08:37) 深入解析小模型訓練核心:蒸餾是什麼?

(10:28) 進階蒸餾:讓學生模型學會「思考機率」

(11:21) MiniLLM 蒸餾法:只學最有用的部分

(12:31) 模型怎麼變小、推論又能更快?

(14:17) 手機也能跑 AI?GPU vs NPU 大比拼

(15:43) 原來你的手機早就有 NPU 了

(16:33) 黃仁勳爸爸出馬:GPU 才是王道!

(17:12) 反對陣營回嗆:NPU 已經夠用了


...more
View all episodesView all episodes
Download on the App Store

矽谷輕鬆談 Just Kidding TechBy 柯柯與肯吉在矽谷

  • 4.8
  • 4.8
  • 4.8
  • 4.8
  • 4.8

4.8

160 ratings


More shows like 矽谷輕鬆談 Just Kidding Tech

View all
科技報橘 by TechOrange 科技報橘

科技報橘

6 Listeners

IEO 看什麼?國際財經、產業、科技觀察 by IEO 國際經濟觀察版主

IEO 看什麼?國際財經、產業、科技觀察

36 Listeners

M觀點 | 科技X商業X投資 by Miula - 科技巨頭解碼主筆

M觀點 | 科技X商業X投資

155 Listeners

游庭皓的財經皓角 by 游庭皓的財經皓角

游庭皓的財經皓角

50 Listeners

Gooaye 股癌 by 謝孟恭

Gooaye 股癌

753 Listeners

財報狗 - 掌握台股美股時事議題 by 財報狗 - 台灣最大基本面投資平台

財報狗 - 掌握台股美股時事議題

63 Listeners

MacroMicro 財經M平方 by MacroMicro

MacroMicro 財經M平方

61 Listeners

矽谷夫妻Chitchatting by 矽谷夫妻 Annie & Jack

矽谷夫妻Chitchatting

175 Listeners

美股投資學-財女珍妮 by 財女Jenny

美股投資學-財女珍妮

75 Listeners

VK科技閱讀時間 by VK

VK科技閱讀時間

12 Listeners

矽谷台勞 by Silicon Tailao

矽谷台勞

118 Listeners

科技浪 Tech.wav by 哈利

科技浪 Tech.wav

82 Listeners

塞掐 Side Chat by INSIDE

塞掐 Side Chat

9 Listeners

異溫層 Podcast by 雕大 & 房房

異溫層 Podcast

10 Listeners

國際大事收藏版 by 藍弋丰&Cynthia&Miula

國際大事收藏版

40 Listeners