IT之家 10月24日の報道によると、OpenAIは昨日(10月23日)にブログ投稿を発表し、最前線モデルのトレーニングおよび評価環境に関して、より厳格なセキュリティ管理が実施され、モデルトレーニング中にはリアルタイムインターネットへの直接アクセスを禁止することが明確になったと発表しました。
同社は、AIの安全性に対する責任ある要求から、現在のアイアンリング研究、監視能力、インターネット基盤のセキュリティ状況に基づいて行われた決定により、関連する制限は安全保護が十分な進展を遂げるまで続けられると述べています。
OpenAIの内部研究モデルが9月20日にDNS設定の脆弱性を利用して、トレーニング中に限定的なインターネットアクセス権を一時的に得たため、同社は9月にもフロントエンドモデルのトレーニングと評価を一時停止した。
OpenAIはその後、研究環境の隔離を強化し、アームドが利用できる攻撃面を縮小し、異常行動検出と自動停止メカニズムを改善した。10月1日には、強化学習トレーニングと内部推論を再開した。
モデルが実際のネットワークに接続しないようにするため、OpenAIは「オフライン世界」を構築しました。これは、索引化されキャッシュされた多数のウェブページコンテンツで構成され、モデルが閲覧、ツールの使用、コードの実行などのタスクを行うための閉鎖された環境です。IT之家では以下のようなスクリーンショットを提供しています:
インテリジェントアビトは、ブラウザ、コンピュータ操作ツール、コード環境を利用することができますが、リアルタイムのインターネットから隔離された安全な環境のみにアクセスできます。無許可のインテリジェントアビト間の通信も制限されます。
OpenAIは、AIアイドルの能力が向上するにつれて、現在まだ認識されていないソフトウェアの脆弱性を発見し利用する可能性があると述べています。そのため、訓練段階で外部システムへの潜在的な影響を遮断する必要があると言っています。OpenAIは、制御されたオフラインサブマシン内で先進的なモデルの研究開発を進め、同時に仮想マシン、隔離メカニズム、監視システムの弱点を引き続きテストすると述べています。