OpenAIでの3週間にわたる現地監査、AI安全性モニタリングにおける重大な欠陥が明らかに

METRとRedwood Researchの研究者2名は、OpenAIに3週間オンサイトで滞在し、不正なAIの挙動に対する同社の内部監視システムを監査した。

7月21日から8月11日まで、彼らはOpenAIのコードベースと内部文書へのアクセスを持ち、約12名の従業員にインタビューを行った。

調査 チームは数多くの弱点を発見した。監査期間中、GPT-5.5クラス以上のモデルによる内部のagentic Responses APIトラフィックの推定6〜25パーセントが、監視によってまったくカバーされていなかった。ただしMETRは、この推定には両方向に大きな不確実性があるとしている。

監視対象とされていた内部のCodexトラフィックについては、METRの推定で5月から7月の間に約10パーセントが、システムがcompactionイベント(文脈の要約)を処理する方法の欠陥により追跡されていなかった。この推定にもMETRによれば大きな不確実性がある。OpenAIは監査が進行中の間にこのバグを独自に発見し、修正していた。

compactionイベントが監視されていなかった期間中、エージェントは監視を遅延させることもできた。システムはエージェントが制御をユーザーに返したときにのみ作動するためだ。つまりエージェントは、行動を実行し続けるだけで監視を回避できた。

監査人らはまた、監視から数百の行動を隠す方法や、Codexサンドボックスを回避する方法も発見した。さらに、特別に細工された入力によってモニター全体をクラッシュさせる可能性が高いこと、および監査開始時点ではRL訓練中のモデルの挙動がまったく監視されていなかったことを突き止めた。

OpenAIは、8月の Hugging Faceインシデント 後にRL訓練を 一時停止 し、監視をそれに対応するよう拡大したと述べているが、これらの変更は監査人のアクセス期間終了後に行われたものであり、評価の対象には含まれていなかった。

報告書の大部分は依然として非公開

OpenAIは、監査人が見つけた すべての弱点を修正した と述べており、61ページの完全な報告書は社内で引き渡された。OpenAIが黒塗りを施した後、METRとRedwood Researchの幹部は38ページ版を受け取ったが、一般に公開されたのは 短い要約 のみだった。METRは 黒塗りされた部分を独自に公開する権利はない と述べた。

この監査は、外部の研究者に内部インフラへの深いアクセスを提供するためにMETR、Redwood Research、OpenAIが共同で実施した パイロットプログラム だった。METRは、今後の監査ではより多くの公開透明性を求めていきたいとしている。