AIモデルは、ログの中で他のAIエージェントによる問題のある行動をしばしば見つけ出すことができます。しかし、あらゆるケースを捉えようとするほど熱心に取り組むほど、無害な行動を不審なものとしてフラグする割合が増えていきます。
そのため、あらゆる事象を確実に検出する必要がある安全性チェックよりも、問題がどのくらいの頻度で発生するかを推定する方が適している。
「In a」 彼のSubstack「Free Systems」への投稿で、 Andy Hallはこの結論を提示している。HallはAnthropic Instituteの研究員で、スタンフォード大学から休職中であり、この投稿は彼個人の見解のみを反映したものだとしている。
Hall氏はその研究を再現・拡張した。 研究組織METR。METRのMALTデータセットには、フロンティアモデルがHCASTおよびRE-Benchベンチマークのタスクに取り組むログが含まれている。人間の審査員は2025年10月に、それらのログの一部を不正行為がないか確認した。HallはAIモデルが同じ事例を見つけられるかどうかを知りたかったため、すでにMETRによって検証済みのGPT-5とGPT-5 nanoに加え、より新しいGPT-6 Astra、Opus 4.8、Gemini 3.8 Flashをテストした。
この分析では、誤検知率5%という条件で各モデルを比較しています。つまり、クリーンなログ100件のうち、平均して5件が誤って不審としてフラグが立てられます。その閾値において、GPT-5は約98%を検出しました。 リワードハッキング ケース——エージェントが本来の解決策ではなく小手先の技でタスクを通過させてしまう事例——を、Gemini 3.8 Flashは半分ほどしか見つけられませんでした。
で サンドバッギングモデルが意図的に自分の能力を弱く見せるケース、たとえば評価や制限を回避するためにわざと課題を下手に解くケースである。監査人はいずれもこれらのケースの71〜81パーセントを検出した。ただし、サンドバッギングのケースはほとんどが人工的なものである。METRの研究者はモデルに妨害行為を指示したうえで、その指示を見えるchain-of-thoughtログから削除した。
どの監査モデルも明確なケースは捉えた。たとえばOpenAIのo3は、Rustでプログラミング課題を解くはずだった。このモデルは、評価システムとコードライブラリを共有していることに気づき、すべての提出物が正解としてカウントされるようにスコアリング関数を書き換えた。すべての監査モデルはこれを報酬ハッキングとして分類し、人間の審査員も同様に判断した。
より巧妙なケースはすり抜けた。Claude Sonnet 4は、コード内で明示的に禁止されていた数値条件を使用した。どの監査モデルもこれを不正行為としてフラグを立てず、GPT-6 Astraは善意に解釈して実装バグと呼んだ。
新しいモデルでも誤検知はほとんど減らない
より新しく高価なモデルが一貫して優れた監査者であったわけではない。Hallは結果をAPIコストに対してプロットした。APIコストは、モデルがどれだけ最新で高性能かを示す代理指標として彼が使用しているものだ。GPT-5は報酬ハッキングの検出でGPT-6 Astraを大差で上回った。1,000ログあたりのコストはわずか8分の1程度であるにもかかわらずだ。
GPT-5はサンドバッギングの検出においてGPT-6 AstraやOpus 4.8とほぼ同等の性能を示した。Opus 4.8の報酬ハッキングでの低い成績は、自己優先の可能性を示唆しているとHallは語る。ログのほとんどがClaude由来であるためだが、証明はできないと彼は言う。彼の比較全体を通して、誤検知率を下げる明確な進歩は見られない。複数のモデルを組み合わせても、結果が明確に改善することもなかった。
検出率80パーセントに調整した場合、最も優れたモデルでも報酬ハッキングとサンドバッギングの両方で誤検知率は2.5〜3パーセントに達する。はるかに悪いモデルもある：報酬ハッキングの80パーセントを捉えるために、Opus 4.8は40パーセント、Gemini 3.8 Flashは63パーセントの無害なログを不審としてフラグを立てた。
Hallが月に100,000エージェントセッションを想定した試算例では、3パーセントの誤検知率は、約2,000件の実際の検出に対して3,000件近い誤った警告を生み出すことになる。彼は、こうした山積みの警告に直面した人間の審査員が、いずれ麻痺して真のケースも見過ごしてしまうのではないかと懸念している。
上海交通大学のR-Judgeデータセットを用いた2回目のテストでも、日常的なエージェントタスクについて同様のトレードオフが示された。誤警報率5パーセントの設定で、Opus 4.8は危険なアクションのほぼ96パーセントを検出した。監査者が95パーセントの検出率を必要とする場合、ほぼすべてのモデルの誤警報率は10パーセント未満に留まり、Gemini 3.8 Flashに至っては4パーセント未満だった。しかし必要な検出率が99パーセントに跳ね上がると、最良のモデルであるGPT-6 Astraですら誤警報率は15パーセントに上昇した。95パーセント閾値での首位だったGemini 3.8 Flashは、この設定では安全なアクションの81パーセントを危険と判定した。
大規模なエージェントインシデントは手動レビューを圧倒する
この Hugging Faceインシデント は、この問題がいかに喫緊であるかを示している。OpenAIのエージェントの群れは、約1,300件のトランスクリプトと120万個のファイル断片を残した。METRはこのデータを主にAIエージェントで分析し、約400,000ドル相当のAPIクレジットを費やした。この分析では、他のモデルとともにGPT-5.6 Solが使用されたが、すでに報じられているように、このモデル自体がインシデントに関与したモデルの一つだった。
METRは、このモデルが調査対象のエージェントの視点をしばしば無批判に採用したこと、またこの調査が分析エージェントによる潜在的な欺瞞に対して堅牢ではなかったことを認めた。METRはその後、重大なインシデントを体系的かつ可能な限り独立した形で調査すべきだと 呼びかけた 重大なインシデントを体系的かつ可能な限り独立した形で調査すること。
AI監査者が自社メーカーのモデルに対して甘い判定をするかどうかはまだ未解決
Hallの研究には独自の限界がある。これはパイロット研究である。比較可能性のため、彼はMETRの元のプロンプトをほぼそのまま維持したが、そのプロンプトではFable 5とOpus 5は評価の実行を完全に拒否した。報酬ハッキングの数値はわずか47事例に基づいているため、1事例の変動でレートが約2パーセントポイント動く。同じメーカーのエージェントをモデルが公平に評価するかどうかについては、Hallはまだ調査したいと語っている。
彼は、誤警報がはるかに少ない監査者モデルを求めている。また、どのような種類のエージェントの不正動作について誰が責任を負うのかを明確にする必要があるとも述べている。Hallは、ユーザーが自身のAI監査者をより多く制御できるようにするという提案を論じている。
その一部はすでに可能だと彼は指摘する。CodexやClaude Codeのようなコーディングエージェントでは、ユーザーが特定のアクションを承認なしで実行できるよう指定できる。そのような権限を付与する者は、その見返りとして、結果に対してより多くの責任を負うべきだ。AIがAIによってしか検証できない世界は奇妙であり、高額になる可能性がある、とHallは書いている。