數位時代 Business Next

數位關鍵字148.傳輸與網路成AI運算關鍵!AMD、Intel靠開放標準追得上NVIDIA?


Listen Later

NVIDIA業績、市值與股價都再創新高,它在高效能運算與AI市場的領先,讓公有雲服務商、晶片商都開始努力追趕,甚至為此各自推出軟硬體生態系。本集由數位時代創新長黃亮崢James,邀約邀約友訊科技D-Link董事高宏傑Brian,來討論 NVLINK 、NVSWITCH與InfiniBand等一系列匯流排、網通技術、傳輸標準投入,並探討不同廠商間所推標準與開放生態系的競爭態勢。

NVLINK 是 NVIDIA 開發的高速匯流排技術,已存在十多年,但隨著 AI 興起而變得更加重要。相較於傳統的 PCI-E 匯流排,NVLINK 能提供高達 900GB/s 的資料交換速度,遠超 PCI-E 5.0 的 64GB/s。除了高頻寬,NVLINK 還具有低延遲的特性,不需透過 CPU 指揮即可運作,大大提升了多 GPU 系統的效能。

NVSWITCH 則是為了解決 GPU 連接數量限制而開發的技術。類似網路交換機,NVSWITCH 可連接更多 GPU,甚至可跨越多個伺服器,實現高達 32,000 顆 GPU 同時運作的 AI 工廠。另外還有 NVLINK C2C 技術,用於將不同晶片封裝成一顆,如 GH200 就封裝了 GRACE CPU、H100 GPU 和記憶體。

傳輸速度對AI運算至關重要。以自動駕駛為例,需要處理海量的即時數據,包括攝影機和雷達產生的大量資訊。這些數據需要以自動化的工作流快速處理、標註和訓練,這就需要高速的數據傳輸環境。另一個例子是 OpenAI 的 GPT-3 模型,擁有數百億參數,每次運算需要處理大量數據,對記憶體交換量要求極高。

雖 NVIDIA 在 AI 市場佔有率高達九成,但仍面臨競爭。Intel 主導的 CXL (Compute Express Link) 基於 PCI-E 技術,具有良好的兼容性,但速度較慢。AMD 主導的 UALINK 則是最新的挑戰者,擁有眾多知名廠商支持,如 Intel、Google、Facebook、Cisco 等,致力於優化現有乙太網路以實現多 GPU 協同工作。

此外,基於現有乙太網路(ETHERNET)優化的 ULTRA ETHERNET 聯盟則針對 NVIDIA 的另一項技術 INFINIBAND。INFINIBAND 在高速計算領域彌補了乙太網路的不足,而 ULTRA ETHERNET 旨在通過修改乙太網路協議來爭奪這一市場。

NVIDIA 在 AI 市場處於主導地位,但其他廠商正積極結盟和並建立開放標準。這場競爭可能會重現 iPhone 與 Android 之戰,但最終勝出者仍未可知。要挑戰 NVIDIA 的優勢,單一技術或領域很難成功,必須整合出一個開放的生態系才有機會。



Powered by Firstory Hosting
...more
View all episodesView all episodes
Download on the App Store

數位時代 Business NextBy 數位時代 Business Next

  • 4.3
  • 4.3
  • 4.3
  • 4.3
  • 4.3

4.3

12 ratings


More shows like 數位時代 Business Next

View all
科技報橘 by TechOrange 科技報橘

科技報橘

3 Listeners

聽天下:天下雜誌Podcast by 天下雜誌

聽天下:天下雜誌Podcast

175 Listeners

MacroMicro 財經M平方 by MacroMicro

MacroMicro 財經M平方

63 Listeners

下一本讀什麼? by 閱讀前哨站 瓦基

下一本讀什麼?

183 Listeners

財訊 《Wealth Magazine》 by 財訊雙週刊

財訊 《Wealth Magazine》

27 Listeners

商周Bar by 商業周刊

商周Bar

8 Listeners

天下文化‧相信閱讀 by 天下文化

天下文化‧相信閱讀

47 Listeners

請聽,哈佛管理學! by 哈佛商業評論

請聽,哈佛管理學!

29 Listeners

今周大耳朵 by 今周刊Business Today

今周大耳朵

9 Listeners

天下學習 by 天下雜誌

天下學習

20 Listeners

經理人 by 經理人月刊

經理人

3 Listeners

閱讀經濟學人 |  《給決策者的國際筆記》 by 新台灣人數位有限公司 -Jeff 與編輯團隊

閱讀經濟學人 | 《給決策者的國際筆記》

26 Listeners

數位時代 6 in 5 by 數位時代 Business Next

數位時代 6 in 5

0 Listeners

VK科技閱讀時間 by VK

VK科技閱讀時間

10 Listeners

每日聽管理 by 經理人

每日聽管理

2 Listeners

科技浪 Tech.wav by 哈利

科技浪 Tech.wav

76 Listeners