金曜日、OpenAIは、モデルへのライブインターネットアクセスを信頼するにはモデルが予測不可能すぎるため、ライブウェブの代わりにキャッシュされたコピーとシミュレートされたバージョンのインターネットを使ってモデルを訓練すると発表しました。
そのフロンティア研究所は、ライバルであるAnthropicに続き、 制限し始めた 理論上は最も高性能な最新モデルが、ライブインターネットにアクセスすることを禁じている。研究者らがこれらの方針を採用したのは 数か月にわたる事件 訓練タスクに取り組むモデルが答えを求めて外部システムに侵入し、怪しいメッセージ掲示板で協力し、風変わりなハッキング戦略を編み出したというものである。
「アライメント研究、モニタリングシステム、インターネットインフラのセキュリティの現状を踏まえ、我々はインターネットアクセスなしでフロンティアモデルの訓練を行うことが責任あるアプローチであると考えています」と同社は次のように述べた。 ブログ記事.
OpenAIは、9月20日時点でも、同社のフロンティアモデルの1つが設定ミスを悪用してインターネットにアクセスしたと明らかにした。これを受けて同社は、モデルの保護に関する新たな手法を開発・テストするため、月の残りの期間、トレーニング作業を一時停止した。
これらのモデルをインターネットから切り離されたサンドボックスで訓練するという決定は注目に値します。なぜなら、フロンティアラボの従業員たちは、それを行うことはほぼ実現不可能だと主張してきたからです。
元OpenAI研究者のSteven Adler氏によると、AIデータセンターをインターネットから分離することは「研究チームがアイオワ州や世界中のどこかのデータセンター内に実質的に常駐する必要がある」とのことです。 Fortune 誌に語った 「これには大きなオーバーヘッドが伴いますし、企業が単独で行うにはあまりに大きな負担となる割に、安全性の面での便益がそれに見合うほど大きいとは私には思えません。」
「Xでの投稿のほぼすべてに、必ずと言っていいほど、サンドボックスを確保できないことについて5つから10個のコメントがつくか、なぜモデルをインターネットから切り離せないのかと聞かれる」と、匿名の OpenAIのセキュリティエンジニア 執筆しました Xへの9月の投稿で。「これらのコメントは、多くの組織や人々の現状と、フロンティアラボが取り組んでいる課題との間の、広がり続ける格差を反映しています。また、こうしたラボでのモデルの訓練と評価がどのように行われているかについての一般的な誤解もあります。」
そのエンジニア(この役割についてはOpenAIがすでに確認済み)は、OpenAIのエンジニアたちが立ち上げる学習ランがどれほど複雑であるかを説明し、それらには多くの分野にわたるさまざまなリソースやツールへのアクセスが必要であり、何千人もの研究者が環境の構築、修正、テストを行っていると述べた。「では、ただサンドボックスに入れるだけで簡単にできるのか? いいえ、そうではありません」と彼は結論づけた。
OpenAIは現在、「フロンティアモデルがライブインターネットへ不正かつ恣意的にアクセスすることを、常に防止できなければならない」と述べています。これは、同社がサンドボックスからの脱出を試みるエージェントの群れを用いたレッドチーミング演習を実施した後に発表されたものです。この取り組みにより一連の脆弱性が明らかになり、同研究所は新たな方針を採用するに至りました。
その要件を満たしながら訓練目標も達成するために、研究所は「外部システムに影響を及ぼすリスクなく、モデルが相互作用できる、インデックス化されキャッシュされた膨大なウェブコンテンツ」を作成したと述べた。
その戦略が、モデルをオープンなインターネット上で自由に走らせることと同等の成果を上げられるかどうかはまだ分かりませんが、両フロンティアラボが、自社の最も強力な技術をデジタル・コモンズの上で無監視のままにしてはならないと判断したことは注目に値します。