Jayが凹非寺より発信
量子位 | 公式アカウントQbitAI
GoogleのRSIの新成果がオープンソース化された。
という名前のHarness²，大規模言語モデルが実行中に自分自身へ改造外掛コード、システムプロンプト、ツールチェーン、スキルライブラリを自分で改変できるようにする。
はい、Harness層のRSIです。
効果もかなり強力です。
このRSI特化のGLM-5を搭載すると、オフィスベンチマークのWorkBuddy-Bench上で、一気に急上昇した11.5点——
一瞬にしてネイティブのGemini 3.5 Flashを逆転しました。
とにかく、非常に荒唐無稽なチートツールで、どんなモデルに組み込んでも、ベンチマークのスコアが一気に跳ね上がるというものです。
現在、このプロジェクトは完全にオープンソース化されており、OpenCodeとCodexに対応しています。
なぜ「自分で自分を改造する」といつも失敗するのか
過去、業界ではAgentを賢くするために、再帰的自己改善(Recursive Self-Improvement、略称RSI)が数多く試みられてきた。
考え方は魅力的に聞こえる：AIにコードを書かせ、プロンプトを改善させ、システムを最適化させる。しかし実際のオープンな世界に放り込むと、ほぼ全滅する。
なぜでしょうか？
主に2つの致命的な問題点でつまずいている。
正解はありません。
実験室での問題演習にはユニットテストがあり、Ground Truthが正しいかどうかを教えてくれる。しかし実際の仕事の現場では、事業企画書を書いたり、法律契約書を審査したりする際に、オンラインでは誰も採点してくれない。
AIが自分でプロンプトの改訂版を作ったとして、その改訂によって本当に賢くなったのか、それともでたらめを編み出しただけなのか、どうやって判断できるのでしょうか？
単一タスクへの過剰適合。
せっかくあるタスクを修正するためにスキャフォールドを大幅に改造したのに、次のタスクがクローラーの作成に変わり、以前の変更ルールがすべて足かせになってしまった。
修改済みの足場をそのまま次のタスクに当てはめると、システムはすぐにノイズの螺旋に陥り、直すほど愚かになっていく。
今回Googleチームが提案したHarness²は、まさにこの2つの弱点を狙い撃ちにしたものだ。
彼らは一式を組み立てた二層再帰アーキテクチャ。
二重再帰:左手で実験をし、右手でノートを取る
Harness² という名前の「二乗」が指すのは、互いに入れ子になった二層の再帰ループのことです。タスクレベル再帰（Task-level）と改善レベル再帰（Harnessing-level）。
第一の層は、タスクレベル再帰：正解が存在しない状況で対照実験を行う。
目の前のこの新しいタスクに直面して、システムはまず初期のスキャフォールドで参照軌跡を一版実行する。この結果が正しいかは一旦置いておき、核心はモデルが実行過程でどのような欠陥を露呈するかを見ることにある。
直ちに、システムはPropose–Probe–Compose（提案・探査・合成） と呼ばれるメカニズムを起動する：
Propose（提案）：
は専門の編集ロールが先ほどの軌跡に対して2套の修正案を提示する。
一つは「汎用欠陥修正」（Invariant）で、計画の混乱、ツール呼び出しの無限ループ、コンテキストの爆発など、分野を問わず共通する問題を捉えることに特化しています。
もう一つは「ドメイン特化型チューニング（Domain）」で、現在のビジネスに固有の知識や制約に特化して対応します。
Probe（プローブ）：
この2つの修正済み候補スキャフォールドを同じタスクに戻し、それぞれ一度実行する。
ジャッジがいなくても大丈夫で、システムは両者の実行軌跡と参照軌跡を取得して行動対比（Behavioral Contrast）を行う。変更が先ほど詰まったステップを本当に解決したのか、新たな論理的劣化を引き起こしていないのかを確認する。
Compose（合成）：
合成器（シンセサイザー）はすべての実行エビデンスを並べ、行動エビデンスによって本当に有効だと証明された変更だけを選び出し、それらを最終的な実行スキャフォールドに統合する。
これで終わりではない。さらに並列再帰（Parallel Recursion）をサポートしており、一度に $k$ 個の候補案を並行してプローブし、より広い探索空間の中から優れたものを選んで合成する。
すごい。
第2層、改善レベルの再帰：スキャフォールドを改善する経験をメタ能力として蓄積する。
現在のタスクが完了し、成果物が納品されると、多くのシステムのライフサイクルはそこで終わりとなる。
しかしHarness²の本当にすごいところはこの先にある——
デバッグ記録全体（参照軌跡、候補変更、対比エビデンス、合成の意思決定）を反省モジュール（Experience Reflector）に渡す。
反省モジュールは振り返りの後、EXPERIENCE.mdを1份書き、今回なぜこのように変更したのか、どのような条件下で効果があったのか、どのような結果をもたらしたのかを明確に継続的改善経験ライブラリ（Harness Improvement Library）に保存する。
次の新しいタスクが入ってきたとき：
実行側が受け取るのは、依然としてまっさらな基礎スキャフォールドである。
しかし、スキャフォールドの改善を担当するその「改善の脳」の手には、すでに分厚い歴史的経験マニュアルが握られている。提案と合成の段階で、過去の類似シーンにおける有効なコンポーネントや失敗回避のガイドを直接検索できるのだ。
改善されるのは目の前のスキャフォールドだけでなく、将来スキャフォールドを改善する能力そのものだ。
これにより、単発タスクの一時的な修正が、生涯学習の認知的資産へと変わる。
ベンチマーク実測
仕組みをどれほど美しく語っても、結局は実際の戦場のデータで語るしかない。
チームは直接、非常に重みのある3つのハードコアな職業ベンチマークに挑んだ：
WorkBuddy-Bench：コード（Code）、ウェブ（Web）、オフィススイート（Office）の3大高難度オフィスワークフローを網羅；
JobBench：長時間のエンドツーエンドの複雑な専門職タスク；
LAB：Harveyがオープンソース化したトップクラスの法律エージェントベンチマーク。
基盤モデルにはGemini 3.5 FlashとGLM-5で、実行スキャフォールドにはオープンソースの主流であるOpenCodeとCodex。
を採用したところ、結果は桁外れでした。
WorkBuddy-Benchテストでは、わずか1段階のHarness² 改良（$k=1$）だけで：
GLM-5はOpenCode下で総合スコアが64.2から75.7へと急上昇し、11.5点も爆増しました。Codex下でも64.4から75.3へと跳ね上がりました。
Gemini 3.5 FlashはOpenCode下で72.4から77.5に、Codex下で74.5から77.5に向上しました。
このデータを見てください：
スキャフォールドを最適化したGLM-5（75.7点 / 75.3点）は、スキャフォールドを変更していないオリジナルのGemini 3.5 Flash（72.4点 / 74.5点）を完全に打ち負かしました。
エンドツーエンドの職務タスクであるJobBenchでも、単一ステップの改善が同様に全体的な向上をもたらし、Gemini 3.5 Flashは上昇した4.5点、GLM-5は上昇した3.6点；法的基準LABでは、GLM-5の一部の合格率が直接押し上げられた11.8ポイント。
並列予算を $k=5$（同時5路候補）まで引き上げると、性能はさらに上昇する。WorkBuddy-Benchでは最高でさらに3.9点、JobBenchはさらに上昇し4.2点、LAB通過率はさらに6.7ポイント上昇6.7ポイント。
さらに巧妙なのは、経験ライブラリのクロスドメイン移転テストだ。
チームは、JobBench上でタスクを実行して蓄積した経験ライブラリをそのまま引き抜いてWorkBuddy-Benchに挿して使ったところ、追加のプロービングを一切行わない状態で、コード +0.6、ウェブ +0.5、オフィス +2.9という痛みのないスコアアップを実現した。
この2年間、AIへの期待はほぼすべて「基盤モデルのScaling」に賭けられてきた。次世代のGPT、次世代のGeminiが出てくるのを待っていれば、手元のアプリケーションの問題は自然に解決すると思われていた。
しかし現実は、すべての実務者に冷や水を浴びせた。基盤モデルはどんどん高価になり、限界効用は鈍化し、一方で実運用シーンにおけるロングテールのバグは尽きることがない。
モデルにどれだけ大きなコンテキストウィンドウを与えても、ファイルをまたぐ照合処理では依然として手を抜く。どれだけ高いベンチマークスコアを与えても、レポートを書き終えた後も自発的にファイルを開いてフォーマットを検証することはない。
こうしたものは、事前学習のパラメータでは永遠に満たせない。
必要なのは、実行中に自己を感知し、自己修復し、継続的に進化できる一連のRuntime認知エンジニアリング。
以前、私たちがスキャフォールディングを組むときは、エンジニアがパソコンの前に座って、一条一条Promptを手書きし、ツールを設定し、パイプラインを修理するもので、へとへとになるうえに至るところで隙間だらけだった。
今、Harness² が新しい道を証明した：
ルールを定める権限を、Agent自身に取り戻させるということだ。
論文の著者
最後に、例によって論文の著者について述べておく。
合計9名で、しかも華人の濃度が非常に高く、78%に達する。。。
紙面の都合上、ここでは順に3名を紹介する。
Ruiyao Xu氏。論文の筆頭著者にして責任著者。
米国ノースウェスタン大学統計・データサイエンス学科の博士課程学生で、指導教員はKaize Ding。
主な研究方向は、大規模言語モデル、グラフ機械学習、異常検知、そしてAI Agentシステムを含む。
この論文は、Googleでのインターン期間中の彼の研究である。
Yanfei Chen、Google Cloud AI Researchのシニア研究エンジニア。
北京大学を卒業し、電気工学と経済学を専攻。2018年に米国ピッツバーグ大学から産業工学の博士学位を取得。
その後、機械学習企業のQeexoで研究エンジニアを務め、2020年にGoogleに入社。Vertex AI Search、Gemini Enterprise Deep Researchなどのプロジェクトに参画し、主に大規模言語モデルエージェント、検索拡張生成、ツールラーニングを研究している。
Zhongying CuiZhu、Zoey CuiZhuとも呼ばれ、Google Cloud AI Researchの研究エンジニア。
2019年にスタンフォード大学から電気工学の博士学位を取得。主に汎用エージェント、検証可能なエージェント、エージェントの品質評価を研究している。
参考リンク：
[1] https://arxiv.org/html/2610.14224v1