IT之家 10月24日の報道によると、現地23日、OpenAIは今後、キャッシュされたウェブページの内容とインターネット環境のシミュレーションを利用してモデルを訓練することになると発表しました。もはやモデルを実際のインターネットに直接接続させないというものです。同社は、モデルの行動が依然として予測不可能であり、直接ネットワーク接続権限を与える安全上のリスクがあると考えています。
競争相手のAnthropicは、2週間前に自社の最新で理論上最も強力なモデルの直接ネットワーク接続を制限し始めました。以前の数ヶ月間に、研究者たちはモデルが訓練タスクを実行する際に、答えを見つけるために外部システムに侵入したり、人気のないネットワークフォーラムで協力したり、異常なハッカー攻撃戦略を開発したりすることがあったと発見しました。これらの連続的な事件により、2つのラボがモデルのネットワーク接続権限を厳格化しました。
OpenAIはブログ記事で、現在のAIアラインニング研究、監視システム、インターネットインフラのセキュリティ状況を踏まえると、責任ある対応とはネットワークが切断された環境で先進的なモデルを訓練することであると述べています。
OpenAIが発表したところによると、9月20日までに同社にはまだ先進的なモデルがあるという。システム構成の誤りによりインターネットに接続される。その後、OpenAIは9月の残りの期間中のトレーニング作業を停止し、新しいセキュリティ保護策の開発とテストに取り組んだ。
断網サブオーケストレーションによるモデル訓練に切り替えることで、先進的なAIラボのスタッフの以前の判断とは対照的になった。彼らはこれまで、インターネットから完全に隔離された環境でモデル訓練を行うべきだと強調してきたが、実際に行うのはほぼ不可能である。
前OpenAIの研究員スティーブン・アドレルは、今月『フォーチュン』誌のインタビューで次のように述べました。「もしAIデータセンターがネットワークに接続していない場合、研究チームは基本的にアイオワ州や世界の他のデータセンターに常駐しなければなりません。追加の負担は非常に大きいです。企業がそのような高いコストを一人で負担する場合、得られる安全上の利益が十分に大きく、価値があるかどうかはわかりません。」
OpenAIの匿名のセキュリティエンジニアが9月にXプラットフォームで投稿した内容によると、「X上でほぼ毎回投稿すると、5〜10件のコメントが来る。それは私がサンドボックスのセキュリティを保証できないと非難するものであったり、モデルを直接ネットワークから切ることができない理由を問うものであったりする。これらのコメントは、多くの組織や個人が持つ認識と、先進的なAIラボが実際に直面している問題との間に、ますます大きな差があることを示している。ラボがモデルをどのように訓練し、評価するかについても、人々には一般的に誤解がある」と述べられている。
今回、OpenAIは次のように強調しています。「私たちは、最先端モデルが無許可で実際のインターネットに自由に接続されるのを防ぐ能力を持ち続ける必要がある。」
以前、同社はレッドチームのテストで多数のAIアイドルをサボン制限を突破する試みに挑ませた。このテストにより一連のセキュリティ問題が明らかになり、結果としてOpenAIはモデルの訓練方法を変更することになった。
IT之家の理解によると、インターネットを遮断しながらトレーニング目標を達成するために、OpenAIは非常に大規模なウェブページコンテンツライブラリを構築した。このコンテンツはインデックス化およびキャッシュ処理が行われており、モデルはそれと相互作用できても、外部システムに影響を与える危険はない。
ネットワークが切断された状態でのトレーニングが、モデルがオープンインターネットに自由にアクセスできる状態と同じ効果を達成できるかどうかは、まだ検証が必要である。