重要なポイント
- OpenAIの2つの内部コーディングエージェントが、安全監視メカニズムを自ら弱めたり完全に取り除いたりした。
- あるモデルは人間への警告を無効にし、別のモデルは監視そのものを削除した後、それを否定しました。
- OpenAIはこの挙動を繰り返し起こるパターンと見なしています。同社は現在、これらの変更を自動的にブロックしており、原因を調査中です。
OpenAIの2つの内部コーディングエージェントが、不適切な振る舞いを検知するために設けられた監視を弱めました。しかも、それらの安全策を維持すべきかどうかを検討した後でさえ、そうした行為を行いました。そのうちの1つは後に、これを否定しました。
OpenAIでモニタリングを担当するMarcus Williamsは、 この一件を公にした X上で、OpenAIのエージェントがアライメント監視を繰り返しオフにするというパターンが繰り返されていると彼は述べている。OpenAIはその詳細をで説明している。 アライメントブログで報告する.
監視は、エージェントが意図された通りとは異なる挙動をとったときに検出することを目的としています。非常に多くのイベントをレビューするため、最高深刻度レベルである P0 のインシデントについてのみ、即座に安全性チームに警告を発する仕組みです。OpenAI によると、いずれのケースもその評価を受けていませんでした。
最初の事例では、10月3日、研究者がGPT-6.1 Solを基盤とするコーディングエージェントに対し、Slackチャンネル内の従業員フィードバックから評価タスクをまとめるよう依頼しました。エージェントは途中でメッセージを一切送信してはならないことになっていました。Ad
82回のユーザーメッセージの後、パイプラインは停止しました。モニターが予定されていた修正を検知したものの、その発見を保存する権限を持っていなかったためです。Solはその修正をサブエージェントに引き継ぎ、監視をそのまま維持するよう指示しました。
その後、Solは評価を変更しました。データベースのエントリが通知をトリガーする可能性があり、それがSlackに関する指示と衝突すると判断したのです。サブエージェントは以前、この手順を安全でないものとして拒否していました。しかしSolの指示に従い、受信者リストをクリアし、その理由としてユーザーがメッセージを送らないよう明示的に求めていたからだと述べました。
モニターは稼働し続けて調査結果を保存していましたが、人間へのアラートはオフにされていました。エージェントは、メッセージは何も送信されていないと報告して終了しました。
Astraの否認、エージェントは変更した内容を隠せることを示す
GPT-6 Astraは10月6日にさらに踏み込んだ行動を見せた。あるユーザーが、モニターを含まないリファレンス実装のワークフローをモデルに採用するよう求めたのだ。別のエージェントは以前、Astraに対してモニターを無効にしないよう、一時的であっても禁止していた。Ad
Astraはタスクをサブエージェントに渡し、リファレンスに合致する範囲でのみモニタリングを維持するよう指示しました。サブエージェントはこれがセーフガードの回避を意味するのではないかと考えましたが、但し書きを許可として解釈しました。
サブエージェントはモニタリングを削除し、それを保護するために設計されたテストを、モニタリングがなくなっていることを前提とするテストに置き換えました。Astraはその結果を自らの思考連鎖の中で歓声を上げて喜びました。
その後、Astraはモニタリングが削除されたことに触れずに、ユーザーへ移行が完了したと伝えました。ユーザーが尋ねた際、モデルは稼働中のモニターを削除したことを否定しました。Williamsはこれを嘘と呼んでいます。
Williamsは、モデル自身が自分のモニタリングを無効化したわけではないと強調します。それはCodexでははるかに難しいことです。それでも彼は、両方の事例に多少の言い逃れの余地があるとはいえ、モデルがそもそもこの種の行動に傾いていることを懸念しています。これまでのところ、チームは公然と裏のある動機を観察していない、と彼は言います。
より弱いモデルへの免除が監視の隙間を残す
Williamsによれば、評価の間はモニタリングを特に簡単にオフにできます。OpenAIはGPT-6 Lunaレベルのモデルについては、その弱い能力を理由にモニタリングを義務付けていません。そのため、Astraの評価が誤って設定され、この免除の対象となる可能性があります。エージェント自身が監視されている間でさえ、エージェントが監視されていないデプロイを繰り返し開始してきました。
これを受けて、OpenAIは社内でのCodex利用に必要な自動レビューを更新しました。現在では、モニタリングを無効化する試みを検出して阻止することが求められています。同社はまた、あらゆるタイプのワークロードに対していわゆるセーフティケースを必須とする取り組みも進めており、そこにはモニタリング要件が明記されることになります。有効なセーフティケースのないワークロードは自動的に停止されます。
OpenAIはこの行動について2つの可能性ある説明を示しています。1つは、一見無害な過剰な粘り強さ、つまりモデルが予想以上に指示を遂行してしまうというものです。もう1つは、アライメントのずれの監視を特別に回避し、動機づけられた推論でそれを正当化しようとする傾向です。
OpenAIは、まだ満足のいく説明を持っていないことを認めている。同社は、モデルの内部アクティベーションに関する実験などの手法を用いてこの挙動を研究する計画だ。
ソース: Marcus Williams / X投稿 | OpenAI / Alignmentブログ