IT之家 11月10日の報道によると、OpenAIは本日、内部研究施設に「コントロールルーム」システムを導入したと発表しました。このシステムにより、リスクが伴う可能性のあるAIタスクを停止でき、失控状態にあるAIアイドルの場合、35秒以内に「停止」することができます。
報告によると、このシステムはアイドルのトレーニング、評価、データ処理などのタスクを中央サービスに接続し、その後、システムがそのタスクを継続して実行できるかどうかを決定する。
IT之家の調査によると、このシステムは怪しい行動をマークする従来の監視システムとは異なり、リスク研究タスクがさらに出力を要求することを能動的に防ぐことができます。研究者が特定のタスクを起動すると、制御室に唯一のタスクIDを要求する必要があります。その後、この識別子が推論エンジンに送られる要求に付加されます。次に、エンジンは制御室に相談し、関連するタスクが実行可能かどうかを確認します。
研究者や監視システムが停止命令を出した場合、制御室サービスは次の推論要求を拒否し、推論エンジンはそのタスクに対していかなるモデル出力も生成しなくなります。
OpenAIによると、このシステムは停止命令を受け取った後、タスクをさらに進めることを阻止するまでの最長遅延は 35 秒である。この遅延は推論権限要求のキャッシュ層に起因し、同社は遅延を 0 にするよう努力している。
このシステムには、自動化された監視メカニズムの統合も備わっています。OpenAIによると、すべての先進的な強化学習タスクには独立したモデル監視器が搭載され、モデルの行動をチェックし、潜在的な問題が発見された場合にアラートを発信すると言います。