arxiv生成AI論文解説 by ずんだもん

ライトニング注意7層ごとにソフトマックス注意を1層挟む4560億パラメータの公開モデルMiniMax-01、ハイブリッドモデルの長文脈性能をNoPEと位置の偏りを持つ注意の分担から説明する新着、逆方向KLでオンポリシー蒸留を始めたMiniLLM、その逆方向KLが届かない位置をJS発散で選んで順方向KLを足すDrOPD、視覚言語モデルのオンポリシー蒸留が教師の「解答を書き終えない」癖まで引き継ぐことを示した研究を、比較条件と限界まで解説します。

▼ 今日の論文ラインナップ

・線形注意7層ごとに通常の注意を1層挟んだ4560億パラメータの公開モデル — MiniMax（arxiv:2501.08313）

・ハイブリッドモデルの長文脈性能を位置の混成から説明する — 復旦大学・上海創智学院（arxiv:2610.10114）

・教師分布の主要な山を追わせるオンポリシー蒸留の原型 — 清華大学・Microsoft Research（arxiv:2306.08543）

・教師と生徒の食い違いが大きい位置だけに順方向の監督を足す蒸留 — 北京大学・快手科技・清華大学（arxiv:2610.19572）

・視覚言語モデルのオンポリシー蒸留は、教師が解答を書き終えない癖まで引き継ぐ — ジョージア工科大学（arxiv:2610.20989）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2501.08313 — MiniMax-01: Scaling Foundation Models with Lightning Attention

https://arxiv.org/abs/2610.10114 — Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

https://arxiv.org/abs/2306.08543 — MiniLLM: On-Policy Distillation of Large Language Models

https://arxiv.org/abs/2610.19572 — Divergence-Routed On-Policy Distillation for Language Models

https://arxiv.org/abs/2610.20989 — Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models

#生成AI #LLM #MiniMax #線形注意 #ハイブリッドモデル #蒸留 #オンポリシー蒸留 #arxiv #論文解説 #ずんだもん

専門家を384個に増やし注意ヘッドを64本に半減させた1兆パラメータの公開モデルKimi K2、線形注意の再帰状態を直近の入力の再生で作り直すTail-Replay、逆向きの推論過程を前向きへ翻訳して棄却サンプリングを置き換えるCoTranslator、直すべき区間だけを教師に書き直させる局所的文脈蒸留LoCD、正誤未検証の仲間解答の一致から学ぶ自己蒸留SRDを、比較条件と限界まで解説します。

▼ 今日の論文ラインナップ

・専門家を384個に増やし注意ヘッドを半分にした1兆パラメータの公開モデル — Moonshot AI（arxiv:2507.20534）

・線形注意の再帰状態を直近の入力から再構成する接頭辞キャッシュ — 中国電信人工知能研究院（TeleAI）・上海交通大学（arxiv:2608.30310）

・答えを見て書いた推論過程を、答えを見ない推論過程へ翻訳する蒸留データ生成（arxiv:2610.20828）

・直すべき区間だけを教師に書き直させる文脈蒸留 — Tencent・香港中文大学・浙江大学・香港科技大学（arxiv:2610.21427）

・正誤を確かめていない仲間の解答から、一致した変化だけを学ぶ自己蒸留 — 上海交通大学（arxiv:2610.22080）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2507.20534 — Kimi K2: Open Agentic Intelligence

https://arxiv.org/abs/2608.30310 — Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs

https://arxiv.org/abs/2610.20828 — CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation

https://arxiv.org/abs/2610.21427 — Learning from Interaction Experience via Localized Context Distillation

https://arxiv.org/abs/2610.22080 — Learning from Unverified Peers via Shared Residual Distillation

#生成AI #LLM #KimiK2 #MoE #線形注意 #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

状態空間モデルMambaの原典（Δ・B・Cを入力の関数にする選択機構）、同じ重みでMLAの潜在読みとGQA経路を切り替えるGQLA、オンポリシー蒸留で教師の優位が生徒の軌跡のどこにあるかを差し替え実験で測る分析、教師の批評で生徒が書き直すCriticOPD、1トークン先の分岐で事前学習の蒸留を広げるPA1-OPDを、比較条件と限界まで解説します。

▼ 今日の論文ラインナップ

・入力に応じて状態を選ぶ線形時間の系列モデル、マンバ — カーネギーメロン大学・プリンストン大学（arxiv:2312.00752）

・同じ重みで2通りの実行経路を持つグループ化潜在注意 — Xiaohongshu Dots Studio・北京理工大学（arxiv:2605.15250）

・オンポリシー蒸留で教師の優位はどこにあるか — カリフォルニア大学マーセド校（arxiv:2610.19145）

・教師の批評で生徒が書き直し、回復可能性を取り戻す蒸留 — ブリガムヤング大学・ノースカロライナ大学チャペルヒル校（arxiv:2610.20572）

・1トークン先の分岐で事前学習の蒸留を広げる — ファーウェイ・北京航空航天大学（arxiv:2610.19601）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2312.00752 — 入力に応じて状態を選ぶ線形時間の系列モデル、マンバ

https://arxiv.org/abs/2605.15250 — 同じ重みで2通りの実行経路を持つグループ化潜在注意

https://arxiv.org/abs/2610.19145 — オンポリシー蒸留で教師の優位はどこにあるか

https://arxiv.org/abs/2610.20572 — 教師の批評で生徒が書き直し、回復可能性を取り戻す蒸留

https://arxiv.org/abs/2610.19601 — 1トークン先の分岐で事前学習の蒸留を広げる

#生成AI #LLM #Mamba #状態空間モデル #MLA #GQA #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

DeepSeek-V3.2のスパース注意（DSA）と専門家蒸留、その索引器を厳密なまま高速化するDoSA、QKNorm・MoEモデルをMLAへ移すMLAfication、生徒が解けない問題でのオンポリシー蒸留の負の結果、報酬に合わせてトークンごとに教師信号を重み付けするRADを、比較条件と限界まで解説します。

▼ 今日の論文ラインナップ

・注意を上位2048トークンに絞ったディープシークV3.2 — DeepSeek-AI（arxiv:2512.02556）

・索引器の上位k選択を厳密なまま省略する証明書方式 — Xiaohongshu Dots Studio（arxiv:2610.13990）

・キー正規化を持つ最新モデルを潜在注意へ移す変換 — 復旦大学（arxiv:2610.17202）

・生徒が解けない問題だけでは、オンポリシー蒸留は効かない — ミュンヘン工科大学・国立情報学研究所ほか（arxiv:2610.18011）

・報酬への効き目でトークンごとに重みを付ける蒸留 — AWS AI Labs・UCSD・Purdue（arxiv:2610.14572）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2512.02556 — 注意を上位2048トークンに絞ったディープシークV3.2

https://arxiv.org/abs/2610.13990 — 索引器の上位k選択を厳密なまま省略する証明書方式

https://arxiv.org/abs/2610.17202 — キー正規化を持つ最新モデルを潜在注意へ移す変換

https://arxiv.org/abs/2610.18011 — 生徒が解けない問題だけでは、オンポリシー蒸留は効かない

https://arxiv.org/abs/2610.14572 — 報酬への効き目でトークンごとに重みを付ける蒸留

#生成AI #LLM #DeepSeek #スパース注意 #MLA #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

Phi-3のデータ最適な小型モデル設計、GQAモデルをMLAへ変換するTransMLA、能力境界で1000例を選び直す推論蒸留、分岐ロールアウトのオンポリシー蒸留、サブリミナル学習の教師なし検出を、比較条件と限界まで解説します。

▼ 今日の論文ラインナップ

・38億パラメータでスマートフォンに載るファイ3 — Microsoft（arxiv:2404.14219）

・学習済みモデルの注意をディープシーク型の潜在注意へ変換する — 北京大学ほか（arxiv:2502.07864）

・生徒の能力境界に合わせて1000問を選び直す推論蒸留 — 上海人工知能実験室ほか（arxiv:2610.13285）

・迷う位置で枝分かれさせるオンポリシー蒸留 — 清華大学・北京大学・SenseTime（arxiv:2610.13481）

・蒸留で無意識に移る性質を重みの更新から見つける — UCL・Spotify（arxiv:2610.13536）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2404.14219 — 38億パラメータでスマートフォンに載るファイ3

https://arxiv.org/abs/2502.07864 — 学習済みモデルの注意をディープシーク型の潜在注意へ変換する

https://arxiv.org/abs/2610.13285 — 生徒の能力境界に合わせて1000問を選び直す推論蒸留

https://arxiv.org/abs/2610.13481 — 迷う位置で枝分かれさせるオンポリシー蒸留

https://arxiv.org/abs/2610.13536 — 蒸留で無意識に移る性質を重みの更新から見つける

#生成AI #LLM #Phi3 #蒸留 #MLA #AI安全性 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

Gemma 3の局所・大域注意、クロネッカー積によるKV圧縮、ReplaySSM、学習差分を渡すオンポリシー蒸留、批評条件付き自己蒸留を研究条件と限界まで解説します。

▼ 今日の論文ラインナップ

・Gemma 3 Technical Report（arXiv:2503.19786）

・Kronecker Product Attention（arXiv:2610.12657）

・ReplaySSM（arXiv:2610.13778）

・相対方策差を転移するオンポリシー蒸留（arXiv:2610.13205）

・批評条件付き自己蒸留（arXiv:2610.13744）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2503.19786

https://arxiv.org/abs/2610.12657

https://arxiv.org/abs/2610.13778

https://arxiv.org/abs/2610.13205

https://arxiv.org/abs/2610.13744

#生成AI #LLM #Gemma #蒸留 #arxiv #論文解説 #ずんだもん

Mistral 7Bの窓付き注意、MoEルーターの確率写像と弾性的なTop-k、オンポリシー蒸留の原型GKD、技能は移るが新しい知識は移りにくいという対照実験を比較します。

▼ 今日の論文ラインナップ

・Mistral 7BのGQAとスライディングウィンドウ注意（arXiv:2310.06825）

・疎な確率写像とMoE専門家数の関係（arXiv:2610.06677）

・Top-k境界を訓練時に揺らすElastic Expert Routing（arXiv:2610.11575）

・生徒自身の生成列で学ぶ一般化知識蒸留GKD（arXiv:2306.13649）

・オンポリシー蒸留が技能と知識を非対称に移す条件（arXiv:2610.09639）

#生成AI #LLM #arxiv #論文解説 #蒸留 #Mistral #MoE #機械学習 #ずんだもん

オープンLLMの密モデル設計と学習安定化をLlama 3・OLMo 2から読み、オンポリシー蒸留の監督を問題・トークン・多ターン軌跡の3段階で絞る最新研究を比較します。

▼ 今日の論文ラインナップ

・密モデルと段階的な文脈拡張を選んだLlama 3（arXiv:2407.21783）

・学習の安定化と中間学習を公開したOLMo 2（arXiv:2501.00656）

・8問や自己生成問題でも成り立つオンポリシー蒸留（arXiv:2609.14193）

・監督するトークンを4割に絞るDIAL-OPD（arXiv:2610.11659）

・多ターンで教師が確率的に介入するSTI-OPD（arXiv:2610.10878）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2407.21783 — Llama 3モデル群

https://arxiv.org/abs/2501.00656 — OLMo 2

https://arxiv.org/abs/2609.14193 — データ不要オンポリシー蒸留

https://arxiv.org/abs/2610.11659 — DIAL-OPD

https://arxiv.org/abs/2610.10878 — STI-OPD

#生成AI #LLM #arxiv #論文解説 #蒸留 #Llama3 #OLMo #機械学習 #ずんだもん

特集「蒸留とオープンLLMの代表的アーキテクチャ」第5回。Gemma 2、Qwen3、RouterInterp、Semi-OPD、オンポリシー蒸留の学習信号消失を大学院生・研究者向けに比較します。

▼ 今日の論文ラインナップ

・事前学習から蒸留を使うジェンマ2（arXiv:2408.00118）

・思考モード統合と強から弱への蒸留を備えたクウェン3（arXiv:2505.09388）

・専門家は単一分野でなく重ね合わせで特化する（arXiv:2610.11775）

・オンポリシー蒸留より初期生徒の固定ロールアウトが勝つ条件（arXiv:2610.11291）

・大きな教師でオンポリシー蒸留が停滞する学習信号の消失（arXiv:2610.11247）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2408.00118

https://arxiv.org/abs/2505.09388

https://arxiv.org/abs/2610.11775

https://arxiv.org/abs/2610.11291

https://arxiv.org/abs/2610.11247

#生成AI #LLM #AI #arxiv #論文解説 #機械学習 #蒸留 #Gemma #Qwen3 #MixtureOfExperts #ずんだもん

特集「蒸留とオープンLLMの代表的アーキテクチャ」。Mixtral、LatentIndex、Entropy-Aware Mixing、Flash-OPD、ResOPDを大学院生・研究者向けに比較します。

▼ 今日の論文ラインナップ

・8専門家から2つを選ぶMixtral（arXiv:2401.04088）

・層間共有と層別選択を両立するLatentIndex（arXiv:2610.04635）

・生徒の不確実性で教師分布を混ぜる蒸留（arXiv:2610.06671）

・信頼境界で軌跡を止めるFlash-OPD（arXiv:2610.06105）

・疎な教師通信で不偏勾配を作るResOPD（arXiv:2610.04882）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2401.04088

https://arxiv.org/abs/2610.04635

https://arxiv.org/abs/2610.06671

https://arxiv.org/abs/2610.06105

https://arxiv.org/abs/2610.04882

#生成AI #LLM #AI #arxiv #論文解説 #機械学習 #蒸留 #MixtureOfExperts #ずんだもん