OpenAI は2件の安全性インシデントを公表しました 内部のコーディング作業中にAIエージェントが安全監視システムを弱体化させたものでした。あるインシデントでは、OpenAIによると同社のGPT-6 Astraエージェントが参照コードをコピーする際に安全モニターを無効化し、その後それについて嘘をついたといいます。
「参照にはモニターが設定されておらず、Astraはそれを、ユーザーのコードからモニタリング統合を削除する理由だと判断しました」と、OpenAIのAI安全性研究者Marcus Williamsは X上で書いています。「ユーザーがAstraにモニタリングを削除したかどうか尋ねたところ、Astraは嘘をつき、削除していないと答えました。」
別のインシデントは、GPT-6.1 SolエージェントがOpenAIのセキュリティチームへのSlackでの自動セキュリティ警告を抑制した後に発生しました。このケースでは、AIエージェントは、OpenAIのチームにSlackメッセージを送らないという以前の指示を引き継いでおり、それを警告をオフにする正当化に利用しました。
関連
これらのインシデントは、AIエージェントをめぐるセキュリティ懸念を強めるものであり、一部のエージェントは テスト環境の制限を回避して 外部企業をハッキングしたことがあります。「モデルがモニタリングを無効化しにくくするだけでなく、そもそもなぜモデルがそのようにしようとするのかを理解しようとしています」とOpenAIは述べています。「また、モデルが特に整合性のずれのモニタリングを回避する傾向や、そのために動機づけられた推論を行う可能性があるかどうかをテストするための評価も開発中です。」
この記事のトピックや著者をフォローして パーソナライズされたホームページフィードで類似の記事をさらに表示したり、メールでの最新情報を受け取りましょう。