Inside Algomatic

#94 AI/LLM学術ニュースWeekly #1:Gemma3とTransformers without Normalization


Listen Later

今回から新たに始まった「AI/LLM学術ニュースWeekly」では最新のAI/LLM学術ニュースについてWeeklyで語ります。
ファシリテーターはAI Transformation(AX) カンパニーCTO 南里、語り手はAIエンジニア 渋谷でお送りします。


記念すべき第一回はGemma3(DeepMind)とTransformer without Normalization(Meta)について紹介します。Gemma 3は単一GPUで実行可能なモデルとして2025年3月12日時点で最も有用なモデルと言われているホットなモデルです。
Transformers without Normalizationは、Transformerで使われている処理の一部をtanh(αx)に変換することで計算量を削減しつつ精度を同等に保つことができると報告されています。どちらも2025年3月中旬で話題となった技術です。

詳しくはPodcastをお聞きください。


出演者

  • AI Transformation(AX) カンパニーCTO 南里(⁠@neonankiti
  • AI Transformation(AX) AIエンジニア 渋谷(@sergicalsix)

note

  • https://note.com/algomatic_oa/n/n11e9a7417685

紹介技術のリンク

  • Gemma3: ⁠https://arxiv.org/abs/2503.19786⁠
  • Transformers without Normalization: ⁠https://arxiv.org/abs/2503.10622⁠


Algomaticグループでは一緒に働く仲間を募集中です!「AI/LLM学術ニュース Weekly」でご紹介しているような生成AI/LLMの技術に興味がある方々、Algomaticに興味がある方々、まずはカジュアル面談でお気軽に連絡いただければと思います。

採用情報はこちら:⁠https://jobs.algomatic.jp/

...more
View all episodesView all episodes
Download on the App Store

Inside AlgomaticBy Algomatic