OpenAIが「スパース回路」でニューラルネットの中身を“見える化”する新手法を発表しました。ポイントは、最初から“絡まっていない”モデルを訓練すること。通常の密なネットでは各ニューロンが大量に結線し、機能が混線して理解が難しくなります。そこで重みの大半をゼロに固定し、各ニューロンがごく少数の相手としかつながらないTransformerを作ると、振る舞いを担う小さな回路が抽出しやすくなる――という賭けです。公開記事は、このアプローチが安全監視や“好ましくない挙動の早期兆候”の把握にもつながると位置づけています。

評価はシンプルなアルゴリズム課題で行われました。Pythonの文字列クォートを正しく閉じる課題では、わずか“5本の残差チャネル、MLPの2ニューロン、注意機構のQKとV各1チャネル”というミニ回路で動作原理を説明。この回路は必要十分で、回路以外を“平均アブレーション”で消しても性能を保ち、逆にこの数個の結線を消すと失敗する、という厳密さまで示されました。可読な回路図で「どの結線が何を運んでいるか」まで踏み込み、機能単位での理解に手が届いています。

興味深いのは“能力と解釈性の綱引き”の定量化です。固定サイズのスパースモデルでは、スパース化を強めるほど解釈性は上がる一方、能力は下がる。一方でモデル自体を大きくすると、このトレードオフの前線（フロンティア）が外側に押し出され、より“強くて読める”領域が広がるという結果です。論文は、非ゼロ重みが“約1000個に1個”という極端な設定や“4回に1回だけ活性が非ゼロ”といった設計も明示し、スパース化が計算をどう単純化するかを丁寧に検証しています。

もちろん限界も率直です。数千万の“非ゼロ重み”を越えても解釈性を保つのはまだ難題で、スパース訓練は計算効率もよくありません。そこで今後は、既存の“密”なモデルからスパース回路を抽出する道や、解釈性を保ったまま効率よく学習させる技法の開発を進めるとしています。日常的な開発に効くのは、こうした回路理解から逆に“脆さ”を突き止められること。例えばリストの長さを伸ばすだけで括弧カウントが狂う“文脈希釈”のような弱点も、回路を追うからこそ見抜ける――そんなデバッグの武器になり得ます。

背景として、OpenAIはSAEで内部“特徴”を大規模抽出する路線も磨いてきました。今回のスパース回路は“特徴”の次の段階、すなわち“どう結線されて振る舞いを生むか”まで踏み込む試みです。研究ブログは2025年11月13日付で公開。安全・信頼性の基盤技術として、より大きなモデルへの拡張と現実タスクでの一般化に挑むと締めくくっています。