矽谷輕鬆談 Just Kidding Tech

S2E37 AI 的「小」革命:小型語言模型才是未來?


Listen Later

加入頻道會員,解鎖更多專屬福利:

👉 https://www.youtube.com/channel/UCJIPFjZSCWR15_jxBaK2fQQ/join


雖然大家都在追求「越大越好」的 AI 模型,但真正讓 AI 普及、走進每個人生活的關鍵,可能是那些「小」到能在你手機上跑的模型。


Google、Meta、微軟甚至蘋果,都在默默佈局小型語言模型。它們更快、更便宜、更懂特定領域,甚至在某些任務上已經超越大模型。


這集我們就來聊聊:

🤖 為什麼小模型可能才是 AI 普及的關鍵?

⚙️ 小模型是怎麼被「蒸餾」出來的?

💡 MiniLLM 為什麼有時能打敗老師?

📱 當 AI 可以在手機上運行,Nvidia 的 GPU 還會是主角嗎?

🏁 蘋果的「混合模式」策略,會不會是最後的贏家?


🎧 如果你也好奇 AI 的下一場戰爭,不是在雲端,而是在你手上,這集你一定要聽。

🔗 《矽谷輕鬆談》傳送門 👉 https://linktr.ee/jktech

(00:00) 開頭

(01:05) 小型語言模型有什麼特點?

(03:36) 成本省近百倍?這才是真正的關鍵

(04:33) 什麼時候該用大模型 vs 小模型?

(06:20) 小孩子才做選擇:我大小模型都要!

(07:27) 或許蘋果才是最後的贏家?

(08:37) 深入解析小模型訓練核心:蒸餾是什麼?

(10:28) 進階蒸餾:讓學生模型學會「思考機率」

(11:21) MiniLLM 蒸餾法:只學最有用的部分

(12:31) 模型怎麼變小、推論又能更快?

(14:17) 手機也能跑 AI?GPU vs NPU 大比拼

(15:43) 原來你的手機早就有 NPU 了

(16:33) 黃仁勳爸爸出馬:GPU 才是王道!

(17:12) 反對陣營回嗆:NPU 已經夠用了


...more
View all episodesView all episodes
Download on the App Store

矽谷輕鬆談 Just Kidding TechBy 柯柯與肯吉在矽谷

  • 4.8
  • 4.8
  • 4.8
  • 4.8
  • 4.8

4.8

161 ratings


More shows like 矽谷輕鬆談 Just Kidding Tech

View all
科技報橘 by TechOrange 科技報橘

科技報橘

5 Listeners

聽天下:天下雜誌Podcast by 天下雜誌

聽天下:天下雜誌Podcast

181 Listeners

M觀點 | 科技X商業X投資 by Miula - 科技巨頭解碼主筆

M觀點 | 科技X商業X投資

157 Listeners

游庭皓的財經皓角 by 游庭皓的財經皓角

游庭皓的財經皓角

56 Listeners

Gooaye 股癌 by 謝孟恭

Gooaye 股癌

760 Listeners

財報狗 - 掌握台股美股時事議題 by 財報狗 - 台灣最大基本面投資平台

財報狗 - 掌握台股美股時事議題

63 Listeners

MacroMicro 財經M平方 by MacroMicro

MacroMicro 財經M平方

63 Listeners

矽谷夫妻Chitchatting by 矽谷夫妻 Annie & Jack

矽谷夫妻Chitchatting

175 Listeners

美股投資學-財女珍妮 by 財女Jenny

美股投資學-財女珍妮

73 Listeners

數位時代 Business Next by 數位時代 Business Next

數位時代 Business Next

12 Listeners

科技工作講 Tech Job N Talk by Tech Job N Talk 科技工作講

科技工作講 Tech Job N Talk

25 Listeners

VK科技閱讀時間 by VK

VK科技閱讀時間

14 Listeners

科技浪 Tech.wav by 哈利

科技浪 Tech.wav

84 Listeners

異溫層 Podcast by 雕大 & 房房

異溫層 Podcast

9 Listeners

國際大事收藏版 by 藍弋丰&Cynthia&Miula

國際大事收藏版

41 Listeners