IT之家 11月3日の報道によると、マサチューセッツ工科大学コンピュータ科学・人工知能研究所（MIT CSAIL）の研究者たちは、「重み空間プログラミング（Weight-Space Programming）」と呼ばれる新手法を提案した。
彼らはOpenAIのGPT-6 Astraに、アリクラウドの通義千問の人気モデルQwen3.5-0.8Bのニューラルネットワークの重みを直接分析・修正させ、わずか約0.016%のパラメータを調整するだけで、MATH-500数学ベンチマークテストでの成績を7.9%から48.1%に引き上げ、元の約6.1倍に達させた。 reportedly、プロセス全体を通して勾配降下法や従来の訓練ループは使用されていないという。
この研究は、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabによって共同で行われた。Takehiは現地時間11月2日にブログでこの研究を公開し、「重み空間プログラミング」と名付けた。その核心的な考え方は、大規模言語モデルに別のニューラルネットワークの重みを直接読み取り、理解し、修正させることであり、通常の訓練プロセスを通じてモデルのパラメータを調整するのではない。
具体的な実験では、GPT-6 Astraは単純に少量のパラメータをランダムに調整したのではなく、まずQwen3.5-0.8Bの推論ループの問題を特定した。
研究者たちは、このモデルが数学の問題に答える際に同じ内容を繰り返し生成しやすく、多くの回答が32768トークンの長さ制限を使い果たしてしまうことを発見した。最初の96回のテスト回答のうち、85回がこの上限に達した。
研究チームはGPT-6 Astraに、モデルの重みを読み取り・修正できるPython環境を提供し、GSM8KとMATH訓練セットの練習問題を使って有限回の前方推論を行うことを許可した。Astraはその後、第15層と第19層のMLP（多層パーセプトロン）が書き込む一種の反復的な方向を特定し、この2層の一部の重みを修正することで、推論ループを引き起こす信号を弱めた。
最終的に、Astraは131072個の重みを修正した。これはQwen3.5-0.8Bの約8億個のパラメータの0.016%に相当する。50回の前方推論が許可された実験では、モデルのMATH-500での成績は7.9%から48.1%に、GSM8Kでは13.8%から67.1%に向上した。
同時に、修正後のモデルは指示追従能力も改善した。モデルの指示追従性能を測るIFEvalテストでは、修正後のモデルの成績は21.0%から62.3%に向上し、元の約3倍となった。それと同時に、数学テストで生成長が上限に達したために回答を完了できなかった割合は、元の93%から33.1%に低下した。
注意すべきは、この実験が計算プロセスを一切含んでいなかったわけではない点である。GPT-6 AstraはPython環境を使って重みを分析・修正し、最大50回の前方推論も行ったが、勾配降下法、逆伝播、従来の訓練ループはパラメータの更新に使用していないだけである。
研究者たちはさらに、Gemma 3 270Mを使って対照実験も行った。このモデルは元々推論ループがほとんど発生しないため、Astraは同様の局所的な重み修正によってその数学能力を大幅に向上させることができず、MATH-500の成績は最大でも6.8%から7.7%に向上したにとどまった。研究チームはこれに基づき、重み空間プログラミングはモデルの既存の能力の発揮過程で生じる障害を取り除くことはできるが、モデルが元々持っていない能力を無から創り出せるとは限らないと指摘した。
この研究にはその他の実験も含まれている。例えば、GPT-6 Astraにニューラルネットワークの重みを読むだけでモデルが訓練されたゲームを識別させたり、小規模言語モデルの訓練言語を判定させたり、ゲームを実行できるニューラルネットワークを直接書かせたりすることである。研究者たちは、この手法がニューラルネットワークの解釈可能性研究やモデル最適化に新たな道筋を提供する可能性があると考えている。
参考資料：