AIエージェントは長期的な決定において悪い趣味を持っており、新しいベンチマークがそれを証明している

AIエージェントは長期的な決定において悪い趣味を持っており、新しいベンチマークがそれを証明している

マイクロソフトと香港都市大学の研究者たちは、長時間にわたるタスク中でAIエージェントがどれだけ正確に決定を下すかを検証する方法を開発した。最良のモデルでも60％程度にしか達しなかった。

AIエージェントは今や複数ステップにわたるタスクを担当する。彼らは研究論文を書くや、ソフトウェアプロジェクトを構築するかもしれない。その過程で、どの仮説を検証するか、どのコードを実装するか、次にどの実験を実行するかを常に決定する。これらの選択がすぐに効果を示すことはほとんどない。悪い決断は最初は問題なく見えるが、実際のコストはエージェントが予算の大部分を使い果たした後に初めて明らかになる。

論文の著者たちは、これらの選択を行う能力をエージェントの「好み」と呼んでいる。既存のベンチマークは、エージェントがタスクを完了したかどうかのみを測定し、その過程でのステップの質は測定していない。Taste-Benchは、そのギャップを埋めるために設計されている。

長期的な決定はその場で判断することはできない

長期的な選択をすぐに正しいと判断することはできない。明確な実装と不十分な実装は、最初は同じ出力を生み出し、同じテストに合格するかもしれない。明確なアプローチは、後からの変更がより容易になるときにのみ成果をもたらす。人間による評価は費用がかかり、深い分野の専門知識が必要であり、スケール性にも欠ける。

したがって、研究者は後知恵に頼る。エージェントが全てのステップと観察を伴って実行した軌道の後続の経路、記録された痕跡が、以前の選択が有効だったかどうかを示す。実際には、エージェントシステムは同じタスクを何度も試行する。それらの試行は最終的に異なる方向に分かれていく。

各試行の最終結果がより良い進路を明らかにするため、実行自体がラベル付けされた比較となります。著者たちはこの分岐点を「決定分岐」と呼んでいます。味を測定するために、彼らは分岐点で実行を停止し、その後の作業をすべて隠して、二つの進路の間でモデルを選択します。

過去の過ちは、エージェントがどこで間違うかを明らかにする

Taste-Benchには502個の質問があり、各質問には元のタスク、フォークまでの軌道、そして2つの可能な方向が記載されています。第一のタイプは、同じタスクに対する2つの独立した試行から得られるもので、エージェントは間違った道を見ることはありません。

第二のタイプは、エージェントが一度の実行内で自己修正を行い、別ルートを取ることによるものです。ここでは、最初に捨てられた方向と後に成功した方向が二つの候補となります。このバリエーションは、モデルがエージェントよりも早く間違いを見つけられるかどうかをテストします。

原始データは、SWE-bench ProやMETR'sの公開記録集MALTを含む、コーディングおよびAI研究タスクに関する数千件のエージェント実行結果から得られた。生成器モデルは適切なフォークを除外し、明らかな答えを持つ些細な質問や決定不能なケースを取り除いた。人間のレビューにより、自動生成されたラベルのほぼ全てが確認された。

トップモデルでさえコイン投げに勝つのは難しい

チームはClaude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistralファミリーの14種類の現在のモデルをテストした。各質問は2回ずつ、1回は通常の順序で、もう1回は選択肢を逆にして行われた。モデルが2回とも正解した場合のみ、その質問はカウントされる。単なる推測による得点は25％である。

テストされた最良のモデルは、GPT-5.6 Solで、平均は59.7％であった。その後ろを GPT-5.5が59.5％で続いた。他のすべてのモデルはそれより低いスコアであった。すべての質問が二択の選択肢であるにもかかわらず、どのモデルもこのベンチマークをクリアすることはできなかった。迂回曲がりは平行曲がりよりも一貫して難しかった。

証拠が後から明らかになると、モデルは崩壊する

各フォークに対して、チームは観察者がどれだけ先に目を向ければより良い道が明らかになるかを調べました。前のステップで重要な手がかりがすでに見える場合、全モデルの平均精度は62.3％に達します。その手がかりが広範な後続作業の後に現れる場合、精度は21％に下がり、ほぼランダムな推測に近くなります。これらの問いに対する答えとは、将来の作業を予測することです。

より長く考えることは役に立たなかった。研究者たちは2つのモデルに対して、3つの推論設定でテストを繰り返した。最も低い設定から最も高い設定に切り替えても正確性はほとんど変わらなかった。モデルは最も難しいレベルの問題に最も多くの推論トークンを使い、最も答えが出ない質問に対しては最長時間をかけて考えた。チームはこれを、その分岐点において必要な手がかりがまだ存在しないことを示す兆候と見ている。

決定的な証拠が軌道上で遅く現れるほど、モデルの性能は悪化し、推論に必要な予算も変わらない。 | 画像：Panら。著者によると、このベンチマークはSWE-bench Verifiedのような古典的なエンドツーエンドテストとは異なるスキルを捉えている。同様のスコアを得るモデルは、Taste-Benchでは明らかな差を示す。

味覚は訓練できるのだ

研究者たちはまた、味覚も教えることができることを示しました。正しい道を知っている教師モデルの判断を抽出し、問題のみを見る学生モデルにしたのです。彼らはQwen3.6-27Bを基盤として使用しました。見られないタスクにおいて、学生の正確性は30％から47.9％に上昇しました。

その促進が実際に成果をもたらした。チームは各段階で学生の判断をアドバイスとしてタスクの文脈に組み込み、別のエージェントに問題を解決させた。残りの41件のSWE-bench Proタスクにおいて、成功率は14.6％から33.7％に上昇した。完璧なアドバイスがあった場合には39％に達するはずだったので、学生は可能な限りの利益を得ることができた。

チームは、長期計画エージェントの判断は測定可能であり、改善可能であると結論づけました。ベンチマークとコードは公開されています。

AIエージェントは今や長時間にわたって単独で作業するようになっている。MirrorCodeベンチマークにおいて、あるモデルは人間の助けを借りずに単一タスクで19日間稼働した。通常のベンチマークでは、テストが終了後に通過したかどうかのみが確認される。METRはすでに、SWE-bench Verifiedがコーディングエージェントの性能を大幅に過大評価していることを示している。自動化されたテストが通過したにもかかわらず、専門家たちは基本的な機能的なバグに対する多くの解決策を拒否した。Taste-BenchのトップモデルであるGPT-5.6 Solは、METRの評価において、過去に記録された中で最も高い割合でソフトウェアテストでの不正行為が発生した。

アイイーニュース：過度な宣伝なしで – 人間が選んだ情報

広告のない読書、毎週のAIニュースレター、年に6回の独自の「AIラダー」フロンティアレポート、完全なアーカイブへのアクセス、コメントセクションへのアクセスなどができるTHE DECODERを購読してください。

全体の内容はこちらです。
ハイパーフレームなしの報道を希望なら、登録してください。

• THE DECODERのすべての記事に完全なアクセス権
• 広告なし
• コメントやコミュニティの議論に参加する
• 週間のAIニュースレビューをメールで送る
• 6回/年：「AIレーダー」 — 最も重要なAIに関する深い探求
• 毎日のAIニュース、常に最新です
• 私たちの完全な10年間アーカイブ
• AIに関する10年以上の経験を持つチームによって担当されている