作者丨高允毅
編集丨岑峰
「大規模モデルが猫と自動車を同じグループに分けたのは、愚かだからではない。」AI の解釈可能性分野には、10年にわたる古典的事例がある。それは InceptionV1 モデル内の番号 4e:55 のニューロンである。このニューロンは、「猫の顔」と「自動車のフロント部分」を見たときに、どちらでも強く活性化する。これは、ニューラルネットワーク全体の基礎ロジックは解釈不可能であることを意味する。そのため、この10年間、分野全体が「分解する」という発想で進んできた。ネットワークがごちゃ混ぜのブラックボックスである以上、それを分解するツールを発明すればよい、と。スパースオートエンコーダー（SAE）による分解、特徴辞書、特徴のもつれ解きほぐし……いずれも、絡み合った特徴をまず人間が理解できる独立した単位に分解し、それから理解しようとするものだった。その昨日、OpenAI の初期の機構解釈可能性研究の科学者であり、当時この事例を古典に押し上げた《Zoom In》の共著者でもある Nick Cammarata が、自ら当時の結論を覆したのだ。「このニューロンは猫も車も認識していない。それはV字の幾何学的形状を検出している。キツネの尖った顔でも、噴き出す炎でも、正極が活性化する。一方、負極は円形のものだ。」彼は率直に、この誤認の原因は、当時の観測ツールがあまりに低レベルだったことかもしれない、と語る。2023 年に彼は OpenAI で初の大規模自動化ニューロン解釈プロジェクトを行い、既存のツールでは約 2% のニューロンしか解釈できなかった。ところが 3 年後、より高度なアルゴリズムと Agent チームを率いて再研究したところ、状況はまったく異なることが分かった。彼らがテストした現代の視覚モデルでは、最終層の 99%～100% のニューロンについて、かなり明確な解釈が見つかった。当時「深層の混乱」で有名だった InceptionV1 自身も、新しいツールで再観測すると、解釈可能率が大幅に向上した。そこで Nick Cammarata は、読了に 65 分を要する長文《Neural Networks Are Already Clean》を発表し、驚くべき主張を打ち出した。ニューラルネットワークは、私たちが思っているよりもはるかに「きれい」だというのである。ここでの「きれい」とは、「1つのニューロンが1つのことだけをする」という意味ではなく、ネットワークの内部には、極めて一貫した、精緻で、しかも人間が直接読める組織構造がある、という意味だ。それは整理された地図のようなもので、詳細を見たければ「ダブルクリックで拡大」できる。これに対し、OpenAI のコアリサーチャー roon は直接リポストして、「科学史における重要な瞬間」だと、「ついに AI アラインメントを『通常科学』にできる」と驚きを表明した。なぜなら、この記事が正しければ、過去10年の解釈可能性研究の中核的な不安が覆されることになるからだ。AI 業界がここ数年、多大な労力を注いできたスパースオートエンコーダー（SAE）分解、特徴辞書、特徴のもつれ解きほぐしは、すべて間違った道だった可能性がある。解釈可能性分野もまた、「The Bitter Lesson」で解決できるかもしれない。つまり、シンプルこそが効率的だということだ。
01
10年のコンセンサスの誕生と反転
なぜ人々は「AI の脳」をごちゃ混ぜの絡まりだと思っていたのだろうか。すべては 2014 年の InceptionV1 視覚モデルから始まる。解釈可能性研究初期の「モデル生物」として、研究者たちは、モデルの表層のニューロンはまだ明確だが、深層に進むほどごちゃ混ぜの絡まりのようになっていくことを発見した。当時の推定では、最終層で人間が理解できるニューロンは、わずか 5% しかないと学界では考えられていた。その中で最も有名なのが 4e:55 のニューロンで、全く関係のない2つのものが1つのニューロンを共有しており、どう見ても「1ニューロン1概念」という素朴な予想に反していた。この現象を説明するために、学界は1つの中核理論を提唱した「重畳仮説」（Superposition）である。彼らは、ニューロンの数が足りなくなると、AI は密かに学習戦略を切り替え、互いに無関係な概念を同じニューロンに「折り畳む」と考えた。それらは同時に活性化することが少ないため、互いに干渉しないというわけだ。2020 年、Cammarata と Chris Olah は画期的な論文《Zoom In》で、さらに具体的な証拠を示した。ネットワークがなんと自動車の特徴シグナルを一組の「犬ニューロン」の中に隠していたのであり、これは重畳現象をさらに決定づけた。ニューラルネットワークが絡み合っているなら、それを無理に「分解する」ツールを発明しなければならない。以来一貫して、Anthropic や OpenAI などのトップラボは、スパースオートエンコーダー（SAE）を主流のアプローチとしてきた。その考え方は、補助モデルを訓練し、ニューロンに無理やり詰め込まれた複数の特徴を無理やり引き出して、再分類し、人間が読めるラベルを貼るというものだ。しかし Nick Cammarata は 気づいた。観測ツールがアップグレードされるたびに、一見混乱しているニューロンが自動的にいくらか明確になるのだ。彼は思わず疑った。問題はおそらくニューラルネットワーク自体にはなく、ネットワークを観察する私たちのツールにあるのではないか、と。2009 年に特徴可視化技術が誕生したばかりの頃のサイケデリックな合成画像から、変換ロバスト性を導入してからの比較的明確なニューロン可視化画像、そして今や Nick Cammarata チームがパラメータを微調整し、アルゴリズムを「実画像の活性化パス」に沿って観測するよう誘導することで、現代のアーキテクチャ（ConvNeXt など）の最終層の 99% を超えるニューロンが明確に読み取れるようになったことを発見した。この10年、みんなずっとツールの誤差と格闘していたのだ。02
2つの古典的事例の「無罪転換」
ツールのアップグレード後、解釈可能性分野における2つの「多義性」の古典的ケースが、そろって反転を迎えた。この反転の核心となる論理は、動的なメカニズムと合理的な幾何学的特徴によって、従来の静的で文字通りの名詞分類法を覆したことにある。▎ケース1：「猫と自動車のニューロン」ケース
従来の特徴可視化は、本質的に勾配降下法アルゴリズムを用いて、ニューロンを最も強く活性化する画像を合成するものだった。しかしアルゴリズムは最高の活性値を追求するあまり「近道」をしてしまい、「リワードハッキング（reward hacking）」の問題が生じる。ImageNetの訓練セットには猫や犬の画像が極めて多く、その特徴も極めて強いため、アルゴリズムが合成した最強活性化画像には、猫のひげや犬の毛といった意味的な残骸が混ざり込む。研究者はこれらの付随する特徴を手がかりに解釈するため、自然とこれを「動物ニューロン」だと思い込んでしまう。そこでNick Cammarata チームは、より厳密な2つの方法で再観測を行った。第一に、活性化経路ガイド：正則化パラメータを精緻に微調整し、アルゴリズムが実際の画像の自然な活性化経路に沿って特徴を合成することを強制的に制約することで、アルゴリズム自体が生み出す干渉ノイズを剥ぎ取った。第二に、正負両極のクロスバリデーション法：「何がニューロンを最も強く活性化するか」（正極）だけでなく、「何がニューロンを最も強く抑制するか」（負極）も研究し、両端でニューロンの真の機能を共に固定する。その結果、ニューラルネットワークは実は幾何学に従って分類していたことが分かった。「猫車ニューロン」のケースでは、それが検出していたのはV字の幾何形状だった。あらゆるV字型の輪郭がその正極をトリガーする。例えばキツネの尖った顔、噴き出す炎、自動車の先端、消防船が噴射するV字型の水柱などである。逆に、すべての円形の輪郭はその負極をトリガーする。例えば丸い顔、丸いボール、円形の車輪などである。▎ケース2：「自動車と犬のニューロン」ケース
もう一組の「自動車と犬」のケースも同様の理屈である。InceptionV1の訓練データでは犬の画像が自動車よりはるかに多く、犬関連のニューロンもより密集しており、最適化の過程で「犬の画像盆地」に落ちて抜け出せなくなり、最終的に合成された「最強活性化図」はすべて犬だった。真相を突き止めるため、Nick Cammarata チームは今回、自動化Agentツールを導入し、この回路に対して動的な勾配追跡とアブレーション（変数制御による配線の切断）実験を行った。汎化軸の解離手法を組み合わせて分解した結果、このニューロンのグループは実は「犬ニューロン」などではなく、「物体が正面をカメラに向け、かつ左右対称であるか」を検出するニューロンであることが分かった。自動車の特徴信号はここで「正面を向いている」というラベルを付けられた後、さらに下流のより深い層へと流れ続け、最終的に真の「自動車分類回路」と「犬分類回路」へと分流する。以前の多義性の誤読の根源は、実はデータセットの偏りにあった。本質的に、特徴は信号に沿って自然に連続的な汎化と分流を行うのである。03
ニューロンの真相は再帰的汎化か？
ニューラルネットワークが無秩序な重ね合わせでないとすれば、「多義性」の現象はどこから来るのか。Nick Cammarataは新しい解釈を示した：再帰的汎化である。彼はこう考える。ニューロンは木の枝のように伸びていく。あるニューロンは最初、菜の花だけを識別していたかもしれない。「黄色」という特徴軸に沿って、徐々にすべての黄色い物体の識別へと拡大し、「円形の外形」という軸に沿って、各種の球状の物体へと広がり、さらに「花畑の中の生き物」という関連経路をたどって花畑の犬までをカバーし、最後には緑色のブロッコリーにまで及んだ。人間がこのニューロンが菜の花とブロッコリーの両方に反応しているのを見ただけでは、モデルの論理が混乱していると誤解しやすい。しかし、その伸びてきた完全な経路をたどれば分かる：一度の分岐、一度の特徴の延伸も、すべて一貫した論理を持っている。言語モデルでは、再帰的汎化の現象はさらに極端である。例えば、もともと「iy」の発音だけを検出していたニューロンが、訓練の過程でまず「diy」という単語の識別に延伸し、最後には、「iy」の音をまったく含まないフレーズ「Do it yourself」までもがそれを活性化させるようになった。人間には理解できないとされる論理は、実際にはニューラルネットワークがその高次元の論理で意味の延伸を行っているにすぎない。ここで、伝統学派はきっと反論するだろう：もしニューロンが本当に足りなくなったら、ニューラルネットワークは重ね合わせモードに切り替えないのか、と。そこでNick Cammarataは極限ストレス実験を設計した。彼が狙ったのはInceptionV1の3b層である。この層には残差ストリームがなく、信号は迂回伝播できない。Nick Cammarataは、この層のもともと曲線を検出していた480個のニューロンを直接10個まで圧縮した。これは48倍の圧縮に相当し、その後ゼロから再訓練を行った。重ね合わせ仮説によれば、空間が深刻に不足すれば、ニューラルネットワークは確実にさまざまな無関係な特徴をこの10個のニューロンに無理やり詰め込むはずである。しかし結果は完全に正反対だった。この10個のニューロンはどれも明確に解釈可能で、ただそれぞれの受け持ち範囲が広がっただけだった：「曲線とループ」ニューロンは、もともと異なる10個の角度別の細分化曲線検出器を自発的に統合し、2つの「円形」ニューロンは、もともと複雑だった複数の円形分類を一手に引き受けた。さらに彼は一つの破壊的な発見を得た。SAEによる「解きほぐし」で分解された特徴は、きれいになどならず、その応答の幅はむしろ元のニューロンの数倍も太かった。これはつまり、過去数年間に無数の科学者を歓喜させた「ネットワークのブラックボックスから解きほぐされた重ね合わせ特徴」は……もしかすると、SAEというツールが自ら作り出した数学的な幻影にすぎないかもしれないということである。04
ネットユーザーは新味がないと疑問視
長文が公開された後、Nick Cammarata のツイッターはネットユーザーたちによる大規模な質問コーナーと化した。ある人が、将来 Transformer 以外のアーキテクチャが登場したとき、この手法はまだ適用できるのかと質問した。Nick Cammarata は肯定的な回答を示しただけでなく、性能の高いモデルほど、内部は実は解釈しやすい、と述べた。旧式の畳み込みニューラルネットワーク、新式の畳み込みニューラルネットワーク、現代の Transformer モデルという全く異なる3つの基盤アーキテクチャによって、この理論の汎用性はすでに証明されている。Zapier の共同創業者 Mike Knoop はオンラインで、神経ネットワークの「クリーンさ」を正式な業界評価指標にできないかと質問した。Nick Cammarata はそれは難しくないと答えた。人類はこれまで、ネイティブな回路の研究可能性をあまりに過小評価していた。活性化の制御、アブレーションによる配線の切断、ブラインドスポットの検出などの手法は、いずれも神経ネットワークの基底秩序を直接「採点」できる。一方、重ね合わせ理論の中心的开拓者の一人であり、Google DeepMind の機械的解釈可能性チームのリーダーである Neel Nanda は、直接冷水を浴びせた。彼は率直にこう言った。「この記事は面白いが、解釈可能性にとって実質的なブレークスルーをもたらしたわけではない」Neel は一针見血に、双方が論争しているのはそもそも同じ「重ね合わせ」ではないと指摘した。「重ね合わせ」という言葉はこの分野で少なくとも五六通りの定義があり、最も核心的なのは2つある。1つは「任意の重ね合わせ」で、ネットワークが無関係な特徴を1つのニューロンに詰め込むというもので、これは Cammarata が覆したバージョンである。もう1つは彼が擁護する 「表現の重ね合わせ」で、大規模言語モデルがニューロン数をはるかに超える知識を記憶できるのは、ごく少数のニューロンを線形結合で用いて膨大な概念を表現するからである。両者の的はもともと同じ場所にない。この基础上、Neel は3つの次元から具体的な技術的疑問を提起した。まず「弱い活性化」の位置づけの問題である。Nick は、弱い活性化の多くは意味の延長である二次的な枝であり、切り落としても大きな問題はないと考えていた。しかし Neel は、弱いニューロン活性化には膨大な事実と記憶の組み合わせが蓄えられており、それこそが重ね合わせの核心的な担い手だと指摘した。Neel は同時に、論文の最も堅実な証拠はすべて視覚モデルからのものであり、視覚と言語は本質的に異なる、と強調した。言語モデルは膨大な事実、記憶、知識の担い手であり、情報密度は数桁高い。小さな画像モデル自体の記憶能力が低いことは、大規模言語モデルにも重ね合わせがないことの証明にはならない。次に、SAE（スパースオートエンコーダ）の名誉回復である。Neel は、SAE は残差ストリームにおいて依然として代替不可能なツールであり、モデルの各層の情報ボトルネックを鋭敏に反映できると明確にした。これは誰が誰に取って代わるかという問題ではなく、両者にそれぞれ適用場面がある。これらの疑問に対し、Cammarata も同意した。彼は自分の記事が単なる「作業仮説」であり、まだ解決していないいくつかの重要な問題があることを認めた：解釈可能性はモデルが大きくなっても「飽和」しておらず、巨大モデルの内部は依然として非常にきれいである。この超巨大規模がもたらす他の工学的課題も、現時点ではまだ彻底には解決されていない。カバレッジの面では、研究は視覚と言語の単一モーダルモデルのみを対象としており、視覚－言語融合のマルチモーダルモデル、特に融合層の回路の組織形式はまったくカバーされておらず、単一モーダルの法則とはまったく異なる可能性が高い。核心機構の面では、再帰的汎化は画像モデルでのみ訓練の全過程を完全に追跡した。言語モデルには訓練過程のチェックポイントデータがなく、ニューロンが一歩一歩汎化していく過程を直接観測できず、最終形態から法則を逆算することしかできない。ツールの位置づけの面では、彼は SAE を全否定したことは一度もない。実験が証明したのは、極度に圧縮された層では SAE がきれいなネイティブな特徴を分解できなかったことだけである。しかし正常な非圧縮の生の層では、SAE とネイティブニューロンの形状の一致度は 0.96-1.00 に達しており、依然として効率的なツールである。手法の限界の面では、現在の結論は転写誘導実験と帰属マップに高度に依存しており、本質はいずれも「撹乱して効果を見る」という発想である。システムを能動的に撹乱しない純自然状態での厳密な因果検証は、現時点では依然として未解決の問題である。これが単なる作業仮説であったとしても、それはすでに4つの方向の実務者に自らの技術的方向を再校正させる力を持っている：- 解釈可能性に取り組むチーム：SAE を使ってネットワークの解きほぐし手術を行うことへの執着を捨てよう。直接頭を上げてネイティブなニューロンと回路を見て、迅速な日常的観察を展開すべきだ。
- 安全アライメントに取り組むチーム：これは間違いなく良いニュースだ。ネイティブなネットワークが生まれつき読み取り可能なら、超知能のアライメントのハードルは想像より低いことを意味する——アライメントは依然として難しいが、少なくとも「AI を理解するハードル」は暴落した。
- アーキテクチャ設計に取り組むチーム：残差ストリームや LayerNorm といった、モデルを「よりよく学習させる」ための改良が、意外にもネットワークをより読み取りやすくしていた。将来のアーキテクチャ探索では、「解釈可能性」を堂々と指標に加えることができる。なぜなら性能と完全に互換だからだ！
- アプリケーション層のエンジニアリングチーム：将来は AI の挙動を制御するために再度ファインチューニングする必要がなくなる。挙動介入エンジニアリングによって、「1つのニューロンを調節するだけで、特定の法律/医療シーンでのモデルの挙動を直接変える」ことが、論文の概念から直接生産ライン上の製品機能に変わるだろう！
乗り遅れるな、雷峰網（公式アカウント：雷峰網）が世界の AI トップカンファレンスのエッセンスをご紹介
独占的に閲覧可能：
専門家講演PPT
カンファレンスレポート全文
人気論文解説
学術新星インタビュー
上のQRコードをスキャンするか
「阅读原文」をクリックして専用ページをフォローしてください。
雷峰網のオリジナル記事です。許可なく転載することを禁じます。詳細は転載に関する注意事項。