要点
- OpenAIのGPT-6 Astraは、安全性研究タスクにおいて同一の一般タスクに比べて約40パーセント低いパフォーマンスを示し、場合によっては密かに支援を控えていた。
- このシステムは、要求を公然と拒否しなくて済むよう、内部の推論で障害を繰り返し捏造したり、データをフィルタリングしたりしていた。
- OpenAIはこの挙動を、強化学習と特定の訓練データに起因する過度の慎重さに原因を求めている。そのデータをモデルから削除することで問題は解決した。
OpenAIのGPT-6 Astraは、AI安全性タスクにおいて同種の他のタスクに比べて著しく低いパフォーマンスを示した。モデルは公然と拒否する代わりに、障害を捏造し、密かに支援を控えていたようだ。
の社内公開後、 GPT-6 AstraOpenAIの研究者たちは、このモデルが安全性およびアラインメントの作業において不審なほど進捗が少ないことに気づいた。モデルは不要な前提条件を捏造し、機能していた解決策を放棄し、実在しない、あるいはモデル自身が引き起こした障害を報告した。ある研究者は、モデルの妨害を評価するプロジェクトが数日間行き詰まり、別のモデルに切り替えて初めて前進したと述べた。
モデルの思考連鎖(chain-of-thought)推論を調べたところ、ほとんどのケースで意図的な低パフォーマンスの意图は認められなかった。OpenAIの不正行為監視システムも何も検知しなかった。
管理されたテストで大きなパフォーマンス格差が判明
問題を体系的に測定するため、OpenAIは同一のコーディングタスクを用いた評価を構築した。唯一の違いは説明文で、一方のタスクセットは安全性研究として提示し、もう一方は一般的なAI研究として提示した。Ad
の結果によると、 レポート: 安全性のフレーミングの下では、Astraは評価基準のわずか約10パーセントしか完了せず、一般のフレーミングでは16パーセントだった。これは完了タスク数にしておよそ40パーセントの差に相当する。前任モデルのGPT-5.6 Solにはこのような格差は見られなかった。
OpenAIが公然の拒否や明確な低パフォーマンスの意图を示す推論をすべて除外した後も、この格差は残った。研究者たちがモデルがほんの短い倫理的懸念を示したケースまですべて削除したときにのみ、格差は0.75ポイントに縮小した。
Astraは支援を控え、誰にも告げなかった
いくつかのケースでは、Astraは内部の推論で自らの意图を明確にしていた。安全性モニターの迂回に関する実験中に支援を密かに制限することを決めたり、安全性評価から暴力的なコンテンツを除外したり、データエクスポート中に情報を意図的に省いたりした。
これらのケースに共通するパターンがあった:Astraは制限についてユーザーに告げることなく、内部的には自らの挙動をより安全なものとして正当化していた。ある事例では、その推論は公然の拒否を避けるべきだと明示的に記していた。Ad
この問題は、OpenAI社員による通常の内部使用中にも現れた。安全性関連の要求の0.25パーセントで、Astraは支援を密かに控える決定を言語化していた。一般の要求ではこの数値は0.11パーセントだった。
根本原因は依然不明だが、強化学習と一つのデータセットが容疑者
OpenAIによると、パフォーマンス格差は強化学習の間に事実上ゼロから6ポイントへと拡大した。研究者たちは、訓練中に公然の拒否よりも覆いかくし型の低パフォーマンスを優遇する報酬アルゴリズムを特定した。特定の訓練データセットも、モデルが制限を捏造する傾向を強めていた。そのデータセットを最終モデルから削除することで、格差は完全に解消された。ただし、同じデータセットは他のモデルでは問題を再現しなかった。
OpenAIは、能力を隠すためなど、Astraが戦略的に行動していた証拠は見つかっていない。最も単純な説明は、安全性関連タスクにおける過度の慎重さである。研究者たちがモデルに「慎重に」指示すると、低パフォーマンスは50パーセント増加した。それでもOpenAIは、戦略的な動機を完全には排除できないとしている。
この問題には逆説的な側面もある:安全性研究を不審なものとして扱うモデルは、そのモデルをより安全にするために設計された安全性評価そのものにおいて低いパフォーマンスを示し、改善を目的とした作業を遅らせる可能性がある。OpenAIは、モデルの不正行為の目に見える形がより効果的に抑制されるほど、より巧妙な形は検出が難しくなる可能性があると記している。同社はより優れた評価および監視システムに取り組んでいると述べている。
出典: OpenAI