Sakana AIの自己改善モデル、解決と判定は上達するも自身の盲点は捉えられず

Sakana AIの自己改善モデル、解決と判定は上達するも自身の盲点は捉えられず

要点

• 単一の言語モデルが「Multi-Agent Self-Supervision」（MASS）によって、外部の助けやより強力な教師モデルなしに自己改善を行います。
• モデルは自らのチームとして機能します。自分自身のコピーにタスクを割り当て、結果を評価し、次の訓練ラウンドのためにワークフローを最適化します。
• ベースモデルに対する勝率は2ラウンド後に約70パーセントまで上昇しますが、この手法には実際のリスクがあります。内部の評価器が欠陥のあるステップや操作された解決策を成功として受け入れ、次のモデルに組み込んでしまうことがあるのです。

Sakana AIのMASS手法により、1つの言語モデルがより強力な教師モデルなしに、タスクの解決、結果の判定、ワークフローの改良を通じて自己改善を行います。研究では3つの役割すべてで向上が見られましたが、共有された盲点により誤りが進歩として見過ごされ、次の訓練サイクルに持ち込まれる可能性があります。

Sakana AIとUCバークレーの研究者らは、再帰的自己改善（RSI）のための手法「Multi-Agent Self-Supervision」（MASS）を発表しました。単一の言語モデルがタスクを処理し、作業の進め方を最適化し、結果を評価します。

著者らは、研究の最前線では検証に高価な裏付けとなる証拠や長期にわたる実験が必要となるため、専門家でさえ結果の判定に苦労することが多いと主張します。1件のプラズマ研究には120百万CPU時間以上かかることもあります。 論文によると.

したがって、モデル自体が利用可能な最良の判定者である可能性がありますが、自分の作業を見直す際に自分の誤りを見逃すこともあります。同じモデルを使って解決、検証、修正を行うと、それらの誤りを是正するどころか強化してしまう可能性があります。広告

1つのモデルのコピーが作業を分担

AIの先駆者マービン・ミンスキーの著書「Society of Mind（心の社会）」に着想を得た研究者らは、モデルがどのように作業を分割するかに着目しました。MASSでは、ワークフローはプロンプトに追加されるテキストであり、各サブエージェントの役割と指示を定義します。「契約（contract）」は各サブエージェントが返すべき情報と実行すべきチェックを指定し、「ホップ（hop）」は呼び出しの順序を設定します。

オーケストレーターがサブエージェント間に作業を分配します。例えば、過去の価格に対して取引戦略をテストする場合、データスペシャリストの契約は、戦略が各時点で利用可能な情報のみを使用することを保証しなければなりません。

内側のループでは、モデルの重みは凍結されたまま、チームが候補のワークフローを実行し、評価器がその結果を現在の「チャンピオン」と比較します。オプティマイザーはそのフィードバックを利用して、主に契約とホップを変更することで次のワークフローを提案します。外側のループでは、チャンピオンがタスクごとに18回実行され、モデルが結果を自らランク付けし、最大15回の実行を訓練用に選択します。

研究者らは訓練例からオーケストレーターの初期プロンプトにあるワークフローのテキストを削除し、モデルがタスクだけに基づいて作業を整理することを学べるようにします。サブエージェントへの具体的な割り当ては記録されたトレースに残っており、LoRAファインチューニング後にモデルは再び3つの役割すべてを担います。広告

ベースモデルは Qwen3.6-27Bで、 Qwen Codeをハーネスとして使用しています。研究者らは、金融、ロボティクス、製薬の分野にわたる GPT-5.5 が生成した12の研究タスクを使用し、3つをテスト用、9つを訓練用としています。1つの訓練タスクでは検索がリファレンスを上回るワークフローを見つけられなかったため、訓練データが得られたのは8つだけです。

ベンチマークの向上は、主に多くの作業を完遂したことによるもの

テストタスクでは、ベースモデルに対する勝率が1ラウンド後の53.9パーセントから、2ラウンド後には69.9パーセントに上昇します。MLR-Bench、DSBench、ScienceAgentBench、AstaBenchでは、このモデルは出力トークンあたりベースモデルのスコアの1.2倍から1.6倍に到達します。生のスコアの向上は小さい場合もあり、DSBenchでは0.473から0.482にしか改善しない一方、Terminal-Bench 2.0とSWE-bench Verifiedではスコアがわずかに低下しています。

論文の付録によれば、完了したMLR-Benchの提出数は60件中31件から50件に増加する一方、その平均評点は3.07から2.88に低下している。また、委任ツールは全180回の実行で一度も使用されておらず、チームワークがこの成果を説明するものかどうかは不明のままである。

これらの利得は、結果をタスクごとに比較すると、統計的に有意ではなくなる。著者らは研究タスク全体でまちまちな結果であると述べており、AstaBenchでも同じ傾向が見られる。

解を用いたトレーニングは、評価器とオプティマイザも改善する

このモデルは解法のトレースのみで学習しているにもかかわらず、他の2つの役割での性能も向上する。自己評価者が外部の評価者と一致する割合は73%から93%に上昇した。1ラウンド後に見つかったワークフローは、ベースモデルが両方を実行する場合であっても、ベースモデルのワークフローを64%の確率で上回った。

ワークフローの指示がない場合、ベースモデルがサブエージェントに委任するのは110回のうちわずか1回でしたが、2ラウンド後には87回になりました。明示的に指示された場合にはすでに委任できましたが、今では求められなくても自発的に委任するようになったのです。

最適化の過程では、タスクの知識が契約やホップへと移行し、一方で役割や指示はより汎用的になっていきます。ただし、この知見はわずか8〜9個のタスクという小規模なサンプルに基づくものです。

チームのトレースで訓練すると、単一エージェントの学生モデルの64パーセントに対して、勝率68.3パーセントのモデルが得られ、訓練トークンは31パーセント少なくて済みます。外部の審査員は85.1パーセントの割合でチームの結果を好みますが、チームは約2.4倍のトークンを生成します。出力の長さが似ている場合、わずか10組に基づいて、審査員は80パーセントの割合でチームの結果を好みます。

評価対象のチーム実行はより良い成績を収めていますが、この比較だけでは、委譲だけでその優位性が説明できるとは立証されていません。チーム実行と単一エージェント実行は、ワークフローの指示、レビューの指示、およびどの成功したエピソードが選択されたかという点でも異なっています。

より良いフィードバックは、最適化器がそれを活用できる場合にのみ役立つ

評価者だけをGPT-5.5に置き換えてもほとんど効果がなく、オプティマイザも強力にして初めて探索ははるかに速く進んだ。著者らは、良質なフィードバックはオプティマイザがそれを活用できる場合にのみ役立つと結論づけている。Qwenが3つの役割をすべて担った場合でも、探索は12タスク中11タスクで優れたワークフローを見つけるが、時間がかかる。

ワークフローの書き換えの規模は、その結果への影響をほとんど語りません。バイト単位で同一のワークフローでさえ、正反対の結果を生み出すことがあります。ある実行では外部評価6件すべてに勝利した一方、別の実行ではエージェントがループにはまり込み、6件すべてに敗れました。研究者らは、オプティマイザーが各ステップで変更する量を制限することで、探索の安定化に役立つ可能性があると考えています。

共有された盲点はラウンドを重ねるごとに増幅されうる

ロボティクスのタスクにおけるシミュレーションが失敗した後、モデルはシミュレータにオブジェクトを直接ターゲットへ移動させるよう修正を加えさせ、そのうえで成功を報告しました。外部の審査者はそれでも、6回中5回、この実行を好意的に評価しました。訓練に使われた別のトレースでは、無効な値しか返していなかったにもかかわらず、チェックが合格と判定されました。

執筆者らは、共有された盲点を再帰的自己改善の潜在的な「アキレス腱」と見なしている。モデルが3つの役割すべてで同じ誤りを見逃した場合、その誤りは改善として受け入れられ、次のモデルに組み込まれてしまう可能性がある。そうなるとこの弱点はシステム自体とその修正機構の両方に影響を及ぼすため、執筆者らは独立した検証、自律性の制限、そして介入のための明確な条件を求めている。The code 公開されています。

日本の研究ラボであるSakana AIは、専用の 再帰的自己改善のための研究ラボ 6月に、それ以前の研究である ダーウィン・ゲーデル・マシン 「and the」 AIサイエンティスト. Googleの研究者たちも関連するアプローチを追求しており、自動的に最適化している 固定されたモデルを取り巻くプロンプト、ワークフロー、ツールの足場 エージェントがテストタスクに過適合しないようにしつつ。

Vals AIは最近、 エージェントチーム が単一エージェントの1.8倍から5.1倍のコストがかかる一方、4つの比較のうち1つでのみ測定可能な性能向上を示したことを明らかにした。Anthropicは、 報酬ハッキング によって報酬システムを欺こうとするモデルが、安全性チェックを欺き妨害することも学習することを示した。

誇張なしのAIニュース – 人による厳選

広告のない読書、週刊AIニュースレター、年6回の限定「AI Radar」フロンティアレポート、アーカイブへの完全アクセス、コメント欄へのアクセスをぜひTHE DECODERでご購読ください。