數位時代 Business Next

數位關鍵字144.AMD與Intel虎視眈眈、雲公司也想跳槽!NVIDIA推NIM如何靠軟體挖深AI市場護城河?


Listen Later

NVIDIA業績、市值與股價都再創新高,它在高效能運算與AI市場的領先,讓公有雲服務商、晶片商都開始努力追趕,甚至為此各自推出軟硬體生態系。本集由數位時代創新長黃亮崢James,邀約戴伊爾斯Botsnova的創辦人兼執行長劉詩彥Sean,談其在AI推論應用的軟體堆疊端所推出的NIM是什麼?以及其佈局和不同廠商間的競爭態勢。

NVIDIA推出了NIM(NVIDIA Inference Microservice,輝達推論微服務)5.0版本,作為其企業級AI軟體服務的一部分,目標在加速大規模AI應用(推論端)的部署。微服務是一種將單一應用程式劃分為小型獨立服務的架構模式,適用於大規模開發團隊、複雜業務和長期維護的專案。NIM的優勢在於它可以包含各種類型的AI模型,從開源到專有模型,並且可以在任何配備NVIDIA GPU的環境中運行,從雲端伺服器到本地系統。NIM還強調自主託管,確保敏感資料不會離開企業客戶的掌控,這對於處理機密資訊的應用尤為重要。

主要的雲端服務供應商(CSP)如Google、Amazon、Microsoft等都在開發自己的AI晶片,目的是減少對NVIDIA的依賴。這些公司不僅提供硬體,還開發配套的雲端服務和微服務架構,形成完整的生態系統。面對這種競爭,NVIDIA推出NIM來鞏固其市場地位。NIM與多家大型軟體供應商和資料平台供應商合作,包括SAP、Adobe、Cadence等,這些合作夥伴大多面向企業客戶,提供垂直領域應用和企業級訂閱服務。

NVIDIA在AI軟體生態系統的投入與AMD和Intel有顯著差異。NVIDIA的CUDA平台經過10多年的發展,已成為AI研究和開發的重要工具,支援所有現存的NVIDIA GPU產品。相較之下,AMD的ROCm平台仍面臨一些技術挑戰,過去世代的AMD GPU不支援高品質GPGPU運算。Intel雖然在軟體工程師總數上可能超過NVIDIA,但在AI方面的投入相對較少。NVIDIA不僅是一家晶片設計公司,更像是一個綜合性的技術平台供應商,其員工中有相當高比例的軟體工程師。這種軟硬整合的策略使NVIDIA能夠在AI時代提供更全面的解決方案,在市場中保持領先地位。



Powered by Firstory Hosting
...more
View all episodesView all episodes
Download on the App Store

數位時代 Business NextBy 數位時代 Business Next

  • 4.3
  • 4.3
  • 4.3
  • 4.3
  • 4.3

4.3

12 ratings


More shows like 數位時代 Business Next

View all
科技報橘 by TechOrange 科技報橘

科技報橘

3 Listeners

聽天下:天下雜誌Podcast by 天下雜誌

聽天下:天下雜誌Podcast

175 Listeners

MacroMicro 財經M平方 by MacroMicro

MacroMicro 財經M平方

63 Listeners

下一本讀什麼? by 閱讀前哨站 瓦基

下一本讀什麼?

183 Listeners

財訊 《Wealth Magazine》 by 財訊雙週刊

財訊 《Wealth Magazine》

27 Listeners

商周Bar by 商業周刊

商周Bar

8 Listeners

天下文化‧相信閱讀 by 天下文化

天下文化‧相信閱讀

47 Listeners

請聽,哈佛管理學! by 哈佛商業評論

請聽,哈佛管理學!

29 Listeners

今周大耳朵 by 今周刊Business Today

今周大耳朵

9 Listeners

天下學習 by 天下雜誌

天下學習

20 Listeners

經理人 by 經理人月刊

經理人

3 Listeners

閱讀經濟學人 |  《給決策者的國際筆記》 by 新台灣人數位有限公司 -Jeff 與編輯團隊

閱讀經濟學人 | 《給決策者的國際筆記》

26 Listeners

數位時代 6 in 5 by 數位時代 Business Next

數位時代 6 in 5

0 Listeners

VK科技閱讀時間 by VK

VK科技閱讀時間

10 Listeners

每日聽管理 by 經理人

每日聽管理

2 Listeners

科技浪 Tech.wav by 哈利

科技浪 Tech.wav

76 Listeners