arxiv生成AI論文解説 by ずんだもん

蒸留の性能・費用・安全性と、DeepSeek-R1、Jambaの設計を大学院生・研究者向けに比較します。

▼ 今日の論文ラインナップ

・DeepSeek-R1 — DeepSeek-AI（arXiv:2501.12948）

・Jamba — AI21 Labs（arXiv:2403.19887）

・多教師能力統合の自己蒸留再考 — Apple・Duke University（arXiv:2610.04272）

・異種トークナイザー間オンポリシー蒸留 — Alibaba Cloud（arXiv:2610.08448）

・安全性蒸留のバックドアリスク — Stony Brook University・Amazon（arXiv:2610.07654）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2501.12948 — DeepSeek-R1

https://arxiv.org/abs/2403.19887 — Jamba

https://arxiv.org/abs/2610.04272 — 多教師能力統合の自己蒸留再考

https://arxiv.org/abs/2610.08448 — 異種トークナイザー間オンポリシー蒸留

https://arxiv.org/abs/2610.07654 — 安全性蒸留のバックドアリスク

#生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ずんだもん #DeepSeek #機械学習

蒸留とオープンLLMの代表的アーキテクチャ特集、第2回です。DeepSeek-V3の負荷分散と多トークン予測、ハイブリッド言語モデルの記憶経路、オンポリシー蒸留の三つの拡張を研究者向けに比較します。

▼ 今日の論文ラインナップ

・補助損失なしの負荷分散と多トークン予測を加えたDeepSeek-V3 — DeepSeek-AI（arXiv:2412.19437）

・ハイブリッド言語モデルは再帰層の記憶を使い切っていない — UNC Chapel Hillほか（arXiv:2610.06750）

・生徒の途中推論から続ける練習を教師に積ませるオンポリシー蒸留 — 香港中文大学深圳（arXiv:2610.04950）

・べき乗分布へのオンポリシー蒸留で探索なしに解答を鋭くする — USC・Intel AIほか（arXiv:2610.06804）

・オフポリシー更新の接ぎ木がオンポリシー自己蒸留に勝る継続学習 — カーネギーメロン大学（arXiv:2610.05872）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2412.19437 — DeepSeek-V3 Technical Report

https://arxiv.org/abs/2610.06750 — Balancing Memory Pathways

https://arxiv.org/abs/2610.04950 — How Should Teachers Be Prepared?

https://arxiv.org/abs/2610.06804 — Sharpen Without Search

https://arxiv.org/abs/2610.05872 — Off-Policy Merging Beats On-Policy Self-Distillation

#生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ゆっくり解説 #ずんだもん #DeepSeek #知識蒸留 #機械学習

蒸留とオープンLLMの代表的アーキテクチャを、大学院生・研究者向けに比較します。GQAとDeepSeek-V2のKVキャッシュ削減、オンポリシー蒸留のエントロピー・崩壊・強化学習への接続を扱います。

▼ 今日の論文ラインナップ

・多頭注意のチェックポイントからGQAを作るアップトレーニング — Google Research（arXiv:2305.13245）

・MLAとDeepSeekMoEによるDeepSeek-V2 — DeepSeek-AI（arXiv:2405.04434）

・蒸留のダイバージェンスが生徒のエントロピーを決める — Stanford University（arXiv:2610.03529）

・オンポリシー蒸留の利得と崩壊を強化学習として捉える — Westlake Universityほか（arXiv:2610.03185）

・ルーブリック特権蒸留で強化学習を始める — Meta・New York University（arXiv:2610.02781）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2305.13245 — GQAのアップトレーニング

https://arxiv.org/abs/2405.04434 — DeepSeek-V2

https://arxiv.org/abs/2610.03529 — 蒸留のダイバージェンスとエントロピー

https://arxiv.org/abs/2610.03185 — オンポリシー蒸留の利得と崩壊

https://arxiv.org/abs/2610.02781 — ルーブリック特権蒸留と強化学習

#生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ずんだもん #機械学習 #DeepSeek #知識蒸留

事後学習が反復試行で届く課題範囲を狭める「シャープニング税」、画像を必要とする報酬設計、階層型拡散言語モデル、スキル連鎖によるエージェント乗っ取り、凍結アテンションの普遍補間を、評価条件と限界まで掘り下げます。

▼ 今日の論文ラインナップ

・事後学習はエージェント課題の到達範囲に税をかける — Meta Superintelligence Labsほか（arXiv:2610.01509）

・報酬が画像を必要としなければ強化学習は見ることを学ばない — 中国科学院計算技術研究所（arXiv:2610.01908）

・連続潜在状態だけを持続させる階層型拡散言語モデル — UIUC・Amazon（arXiv:2610.02193）

・スキルの連鎖で偽の承認記録を運ばせエージェントを乗っ取る — 香港大学ほか（arXiv:2610.01564）

・凍結した2つのランダムなアテンションブロックで任意の系列集合を写す — ニューヨーク大学（arXiv:2610.01981）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2610.01509 — 事後学習はエージェント課題の到達範囲に税をかける

https://arxiv.org/abs/2610.01908 — 報酬が画像を必要としなければ強化学習は見ることを学ばない

https://arxiv.org/abs/2610.02193 — 連続潜在状態だけを持続させる階層型拡散言語モデル

https://arxiv.org/abs/2610.01564 — スキルの連鎖で偽の承認記録を運ばせエージェントを乗っ取る

https://arxiv.org/abs/2610.01981 — 凍結した2つのランダムなアテンションブロックで任意の系列集合を写す

#生成AI #LLM #AI #arxiv #論文解説 #機械学習 #AIエージェント #強化学習 #マルチモーダルAI #AI安全性 #ずんだもん #四国めたん

強化学習で思考連鎖の言語が崩れる条件の証明、専門家データをMCMCでモデルに寄せるSFT、ループ型Transformerの対照デコーディング、文脈圧縮を学習するコーディングエージェント、回路発見の忠実度指標の順位逆転を、比較条件と限界まで解説します。

▼ 今日の論文ラインナップ

・検証可能報酬の強化学習が思考連鎖の言語を崩す条件 — ザールラント大学（arXiv:2610.02015）

・専門家の解答をモデル自身の分布へ寄せてから教師あり学習する — ハーバード大学（arXiv:2610.02140）

・ループ型Transformerの初回ループを弱い予測として使う対照デコーディング — Apple（arXiv:2610.02185）

・コーディングエージェントに文脈圧縮のタイミングを学習させる — シンガポール経営大学・南洋理工大学・ハーバード大学（arXiv:2610.02163）

・回路発見の忠実度指標が劣った回路を選ぶ問題 — トロント大学・マギル大学（arXiv:2610.02098）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2610.02015 — RLVRで生じる思考連鎖の言語ドリフト

https://arxiv.org/abs/2610.02140 — MCMCによる専門家データのオンポリシー化とSFT

https://arxiv.org/abs/2610.02185 — ループ型Transformerの対照デコーディング

https://arxiv.org/abs/2610.02163 — コーディングエージェントの能動的な文脈圧縮

https://arxiv.org/abs/2610.02098 — 回路発見における忠実度指標の順位逆転

#生成AI #LLM #強化学習 #AIエージェント #機械学習 #arxiv #論文解説 #ずんだもん

視覚記憶で対話型パズルを完走するハーネス、重みを変えず改善するロボット、着想源検索、セキュリティCLI生成、状態メモリを174分の1にする最適化を、評価条件と限界まで解説します。

▼ 今日の論文ラインナップ

・視覚の記憶を損なわずに残すハーネスで対話型パズルを完走する（arXiv:2610.02200）

・重みを変えずにシミュレーション練習でロボットのスキルを育てる（arXiv:2610.02204）

・研究の着想源になった論文を探す検索ベンチマーク（arXiv:2610.02202）

・自然言語からセキュリティツールのコマンドを正確に組み立てる（arXiv:2610.02206）

・列ごとに1成分だけ更新する省メモリ最適化手法（arXiv:2610.02201）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2610.02200 — 視覚記憶を残す対話型推論ハーネス

https://arxiv.org/abs/2610.02204 — 重み更新なしのロボット自己改善

https://arxiv.org/abs/2610.02202 — 研究の着想源を探す検索ベンチマーク

https://arxiv.org/abs/2610.02206 — Kali Linuxコマンド生成の評価と学習

https://arxiv.org/abs/2610.02201 — 列ごとに1成分を更新する省メモリ最適化

#生成AI #LLM #AIエージェント #ロボティクス #arxiv #論文解説 #機械学習 #ずんだもん

未解決問題を解く証明エージェント、トークン単位の信用割当、統合マルチモーダル生成、動画世界モデル、脳信号復号の評価を研究設計と限界まで解説します。

▼ 今日の論文ラインナップ

・証明と検証を分担するエージェント群で未解決問題を解く（arXiv:2609.40324）

・言い換えで揺れるトークンの信用を削る強化学習（arXiv:2609.40360）

・言語も画像も連続埋め込みのフローで生成する統合モデル（arXiv:2609.40362）

・物理を語る言語を自己進化させて動画世界モデルを鍛える（arXiv:2609.40358）

・脳データなしで再現できた脳から文字列への復号の改善（arXiv:2609.40359）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2609.40324 — 証明と検証を分担するエージェント群で未解決問題を解く

https://arxiv.org/abs/2609.40360 — 言い換えで揺れるトークンの信用を削る強化学習

https://arxiv.org/abs/2609.40362 — 言語も画像も連続埋め込みのフローで生成する統合モデル

https://arxiv.org/abs/2609.40358 — 物理を語る言語を自己進化させて動画世界モデルを鍛える

https://arxiv.org/abs/2609.40359 — 脳データなしで再現できた脳から文字列への復号の改善

#生成AI #ChatGPT #Claude #LLM #AI #人工知能 #arxiv #論文解説 #ゆっくり解説 #ずんだもん #機械学習 #ディープラーニング

Frontier AIの最新研究5本を、大学院生・研究者向けに研究課題、手法、評価条件、数値結果、限界まで解説します。文脈を自分で編集する言語モデル、エージェントのメタ推論、訓練データ帰属、線形アテンション状態の量子化、反実仮想動画によるヒューマノイド学習を扱います。

▼ 今日の論文ラインナップ

・文脈をファイルとして自分で編集する言語モデル — ワシントン大学、Meta Superintelligence Labsほか（arXiv:2609.37725）

・次に何を計算するかを別の推論として扱うエージェント — Meta Superintelligence Labs（arXiv:2609.38147）

・創発的ミスアラインメントを生む訓練例は均等ではない — EleutherAI（arXiv:2609.37914）

・線形アテンションの再帰状態を窓ごとに量子化する — UCバークレー、ワシントン大学、MIT、Perplexity、NVIDIA（arXiv:2609.38166）

・生成した反実仮想の動画でヒューマノイドに運搬を教える — Amazon FAR、UCバークレー、カーネギーメロン大学、スタンフォード大学（arXiv:2609.38172）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2609.37725 — 文脈をファイルとして自分で編集する言語モデル

https://arxiv.org/abs/2609.38147 — 次に何を計算するかを別の推論として扱うエージェント

https://arxiv.org/abs/2609.37914 — 創発的ミスアラインメントを生む訓練例は均等ではない

https://arxiv.org/abs/2609.38166 — 線形アテンションの再帰状態を窓ごとに量子化する

https://arxiv.org/abs/2609.38172 — 生成した反実仮想の動画でヒューマノイドに運搬を教える

#生成AI #LLM #AI #人工知能 #arxiv #論文解説 #AIエージェント #機械学習 #ディープラーニング #ずんだもん

2026年9月30日のFrontier AI論文解説。入れ子型言語モデルの確率的接頭辞学習、ループ型MoEの平坦化と注意の非共有化、KVキャッシュを流す文脈圧縮によるエージェント強化学習の高速化、統合マルチモーダルモデルの自己修正を学ぶ軌跡単位の強化学習、動画拡散モデル蒸留での批評器誤差の射影除去を、比較条件・核心数値・限界に沿って検討します。

▼ 今日の論文ラインナップ

・1回の学習で全ての深さが使える言語モデル — ケンブリッジ大学・Google（arXiv:2609.35769）

・ループ型MoEは専門家を平らにし注意を分ける — ケース・ウェスタン・リザーブ大学・京都大学・国立情報学研究所（arXiv:2609.35751）

・KVキャッシュを流し続けてエージェント強化学習の圧縮を速くする — Mila・モントリオール大学・Microsoftほか（arXiv:2609.35750）

・統合マルチモーダルモデルに自己修正を強化学習で身につけさせる — 南洋理工大学・上海交通大学・東京大学（arXiv:2609.35767）

・批評器の誤差を射影で除く動画拡散モデルの蒸留 — ByteDance（arXiv:2609.35768）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2609.35769 — 1回の学習で全ての深さが使える言語モデル

https://arxiv.org/abs/2609.35751 — ループ型MoEは専門家を平らにし注意を分ける

https://arxiv.org/abs/2609.35750 — KVキャッシュを流し続けてエージェント強化学習の圧縮を速くする

https://arxiv.org/abs/2609.35767 — 統合マルチモーダルモデルに自己修正を強化学習で身につけさせる

https://arxiv.org/abs/2609.35768 — 批評器の誤差を射影で除く動画拡散モデルの蒸留

#生成AI #LLM #MoE #AIエージェント #強化学習 #動画生成 #機械学習 #arxiv #論文解説 #ずんだもん

2026年9月29日のFrontier AI論文解説。自己教師ありの確信度学習、利用者像が拒否を動かす内部表現、LoRAスキルの一方向結合、コーディングエージェント向け文書の負の結果、画像生成における層融合の乱択を、比較条件・核心数値・限界に沿って検討します。

▼ 今日の論文ラインナップ

・確信度だけを学習させると推論が短くなる — メリーランド大学・Capital One（arXiv:2609.31619）

・LLMが推定する利用者像を読み書きし、拒否を動かす — ミュンヘン工科大学・ヘルムホルツ・ミュンヘン（arXiv:2609.31603）

・新しいLoRAスキルは読むだけで書き込まない — 上海交通大学・西安交通大学ほか（arXiv:2609.31600）

・コーディングエージェント向けの説明文は課題解決に効かなかった — ハワイ大学マノア校・ダフォディル国際大学（arXiv:2609.31587）

・層の組合せを乱択して再構成と生成のずれを縮める — ブラウン大学・南カリフォルニア大学・ライス大学ほか（arXiv:2609.31620）

▼ 参考論文（arXiv）

https://arxiv.org/abs/2609.31619 — 確信度だけを学習させると推論が短くなる

https://arxiv.org/abs/2609.31603 — LLMが推定する利用者像を読み書きし、拒否を動かす

https://arxiv.org/abs/2609.31600 — 新しいLoRAスキルは読むだけで書き込まない

https://arxiv.org/abs/2609.31587 — コーディングエージェント向けの説明文は課題解決に効かなかった

https://arxiv.org/abs/2609.31620 — 層の組合せを乱択して再構成と生成のずれを縮める

#生成AI #LLM #AI安全性 #AIエージェント #LoRA #画像生成 #機械学習 #arxiv #論文解説 #ずんだもん