近期 DeepSeek 宣布開源其大型語言模型，不僅展現了在訓練與推論技術上的突破，更掀起了半導體市場的一波震盪。本集數位時代創新長黃亮崢 James 邀請到 NPU 發明者、耐能科技創辦人兼執行長劉峻誠（Albert），深入探討這波開源浪潮對 AI 晶片市場的影響，以及 NPU 如何在邊緣運算與本地部署 AI 的過程中扮演關鍵角色。

聽完這集節目，你可以學到：

1.DeepSeek 開源的重大突破：透過混合精度訓練框架與演算法創新，讓訓練成本大幅下降，並打破了 CUDA 的壁壘，為非 NVIDIA GPU、ASIC 與 NPU 等替代方案創造發展空間。

2.NPU 的正確認知：許多廠商為追趕熱潮，將 ASIC、DSP 等硬體解決方案都宣稱為 NPU，造成市場認知混亂。真正的 NPU 應該是「可重構的 NPU」，能靈活支援不同 AI 模型的運算需求不應被誤解為僅能做整數（Int）運算，而是要能靈活支援不同 AI 模型的運算需求。這種架構的優勢在於可以因應 AI 技術的快速演進，從 CNN 到 Transformer 都能有效支援。

3.大語言模型的四種主要優化方法： 
(1)Quantization（量化）：將模型的數值精度降低，如使用 8 位元或 4 位元整數運算
(2)Pruning（剪枝）：移除模型中不重要的權重和連接
(3)Distillation（蒸餾）：將大模型的知識轉移到更小的模型中
(4)Transport Learning（遷移學習）：利用預訓練模型在特定領域進行微調

4.半導體市場新態勢：DeepSeek 的技術突破標誌著產業拐點，高階訓練對 CUDA GPU 的需求可能下降，而推論為主的應用將增加，有利於 NPU 等多元運算架構的發展。

5.NPU 應用場景擴展：從安防攝影機、智慧汽車到 AI PC，NPU 正在各個領域逐漸成為標配。Microsoft 更將 NPU 列為 AI PC 的必要條件，預示著未來個人運算裝置的發展方向。就像 CPU 與 GPU 的發展歷程，NPU 也將根據應用場景需求，出現整合型與獨立型的不同方案。在某些場景中，為了追求最佳效能，獨立 NPU 將扮演重要角色。

Powered by Firstory Hosting