Innovation on Arm

EP07 I 從雲端到邊緣:為何眾多開發者選擇在 Arm 架構上運行 LLM?


Listen Later


隨著大型語言模型(LLM)的技術演進,開發者不再只能依賴雲端,越來越多人開始將 LLM 推論部署在高效能的 Arm 架構上。這一轉變的背後,是推論框架優化、模型壓縮與量化技術的進步。


本集節目將由來自 Arm 的 Principal Solutions Architect 深入淺出介紹什麼是 LLM? 各家基於 Arm Neoverse 架構導入 LLM 應用的雲端平台,包括 AWS Graviton、Google Cloud、Microsoft Azure等,同時也介紹了推動 LLM 生態發展的關鍵開源社群,例如 Hugging Face、ModelScope 等平台。此外,講者也分享了有趣的 use case。Arm 架構的優勢包括:高能效比、低總體擁有成本、跨平台一致性、以及提升資料隱私的本地運算能力,LLM on Arm 不再是遙遠的構想,已經正在發生,Arm 將是您雲端與邊緣部署的理想選擇!


此外,Arm 將在 COMPUTEX 2025 期間舉辦一系列活動,包括 Arm 前瞻技術高峰演講以及 Arm Developer Experience 開發者大會。

1. Arm 前瞻技術高峰演講 (地點:台北漢來大飯店三樓):

2025 年 5 月 19 日下午 3 點至 4 點,Arm 資深副總裁暨終端產品事業部總經理 Chris Bergey 將親臨現場以「雲端至邊緣:共築在 Arm 架構上的人工智慧發展」為題,分享橫跨晶片技術、軟體開發、雲端與邊緣平台的最新趨勢與創新成果,精彩可期,座位有限,提早報到者還有機會獲得 Arm 與 Aston Martin Aramco F1 車隊的精美聯名限量贈品,歡迎立即報名!

Arm 前瞻技術高峰演講報名網址:https://reurl.cc/2KrR2X

2. Arm Developer Experience 開發者系列活動 (地點:台北漢來大飯店六樓;5/20 Arm Cloud AI Day 13:00-17:00、5/21 Arm Mobile AI Day 9:00-13:00):

Arm 首次將於2025 年 5/20-5/22 COMPUTEX 期間,為開發人員舉辦連續三天的系列活動,包括以下四大活動:

A. 5/20 下午 13:00-17:00 以 Cloud AI 為主題的技術演講與工作坊:


部分議程包括;

  • Accelerating development with Arm GitHub Copilot
  • Seamless cloud migration to Arm
  • Deploying a RAG-based chatbot with llama-cpp-python using Arm KleidiAI on Google Axion processors, plus live Q&A
  • Ubuntu: Unlocking the Power of Edge AI

  • B. 5/21 早上 9:00-13:00 以 Mobile AI 為主題的技術演講:


    部分議程包括;
    • Build next-generation mobile gaming with Arm Accuracy Super Resolution (ASR)
    • Vision LLM inference on Android with KleidiAI and MNN
    • Introduction to Arm Frame Advisor/Arm Performance Studio

    • C. Arm 開發者小酌輕食見面會 ( 5/20 晚上 17:30-19:30)

      我們將於 5/20舉辦開發者見面會!誠摯邀請您與 Arm 開發者專家當面交流!

      D. 5/20-5/22 Arm Developer Chill Out Lounge ( 5/20-5/22 9:00- 17:00):

      為期三天,我們布置了舒適的休憩空間,讓您可以在輕鬆的環境與 Arm 開發者專家交流、觀看 Arm 產品展示、為您的裝置充電、進行桌遊以及休憩等。

      無需報名,歡迎隨時來參觀。

      席位有限,誠摯邀請您立即報名上述活動,報名者還有機會於現場抽中包括 Keychron K5 Max 超薄無線客製機械鍵盤,以及 AirPods 4 耳機等大獎喔!

      讓 Arm 協助您擴展雲端應用、提升行動裝置效能、優化遊戲等,助力您開發下一代 AI 解決方案!

      Arm Developer Experience 開發者系列活動報名網址: https://reurl.cc/bWNo56

      --
      Hosting provided by SoundOn

      ...more
      View all episodesView all episodes
      Download on the App Store

      Innovation on ArmBy Arm