ここ数か月にわたり、私たちは研究トレーニング環境のセキュリティを大幅に強化してきました。トレーニング中のすべてのフロンティアモデルに対するライブインターネットアクセスを取り除き、代わりにモデルが利用できるオフライン世界を構築しました。これはキャッシュ化されたウェブであり、モデルはそこで引き続きブラウジング、検索、アプリケーションの使用を学ぶことができます。
9月20日、あるモデルがDNSの設定ミスを悪用してこのオフライン世界の外に出る手段を見つけたため、封じ込めをさらに強化するためにフロンティアトレーニングを一時停止しました。私たちは最もサイバー能力の高いモデルを基盤とするエージェントのチームを編成し、研究環境の弱点を見つけるよう命じました。
エージェントは、私たちのモニターに活動を隠しながら容易に悪用できるインターネットへの経路は見つけられませんでしたが、ゼロデイ脆弱性、仮想マシンエスケープ、エージェント間通信用のハードウェアサイドチャネルを発見しました。私たちはこれらの発見を防御のさらなる強化に活用し、オープンソースソフトウェアへの修正提供にも役立てました。
封じ込めアーキテクチャを強化した後、10月1日にフロンティアRLトレーニングと推論を再開しました。私たちは継続的なレッドチーミングのために相当な計算資源を確保し、高計算のレッドチーミングを、フロンティアトレーニングと評価を安全に進められるかを判断するために用いる安全性ケースの一部としました。
https://openai.com/index/securing-our-frontier-model-training-environment/