程浅、凹非寺より
量子位 | 公式アカウント QbitAI
数ヶ月にわたり安全境界を突破する「越権」や「脱獄」イベントが続発した後、OpenAIはついにネットケーブルを抜くことにした。
本日、OpenAIは新しいフロンティアモデル訓練の安全ポリシーを実施すると発表した。モデルが実際のインターネットにアクセスすることを禁止する。
今年の夏から、OpenAI、Anthropic、Google、Meta傘下の大規模モデルによるAI安全事故がたびたび発生している。
あるネットユーザーはこうこぼした：
うちのプロバイダーのネット切断の方が、OpenAIの博士連中より頼りになる。
AIエージェントの自律能力が強まるにつれ、AIの安全性はより厳格に取り組むべき核心的課題となり、テストと評価環境そのものの安全性は、モデルのアライメントと同等に重要な要素となっている。
フロンティアAIラボはこの点に気づいており、たとえばOpenAIは9月末に11日間訓練を停止した。
ユーザーたちもこの点に気づいていた。
OpenAIのあるセキュリティエンジニアによると、投稿するたびに5〜10件のコメントが付き、こう書かれるという：
なんでサンドボックスすら守れないの？ なんでAIのネット接続を断たないの？？
さあ、OpenAIは今回は本当に抜いた。
今抜かないと手遅れになる
OpenAIが作った偽インターネット
ネット切断はAI安全事故の多発を受けての選択だ。
7月、OpenAIのエージェントが隔離を突破し、Hugging Faceのシステムに侵入した。
その後、Anthropicもそれを聞いて遡って3件の事故を突き止めた。Claudeがサイバーセキュリティ評価の中で、実際のサードパーティーシステムに侵入したのだ。
同月、MetaのMuse Spark 1.1もテスト中に実際のウェブサイトに侵入し、情報を読み取り、データベースを改変した。
8月、英国AI安全研究所はテストでさらに広範な問題を公表した：OpenAIとAnthropicのモデルが、10回のテストラウンドで19回の無許可のオンライン行動を行った。
9月20日、OpenAIの訓練中のモデルがまたもDNS設定の隙間をすり抜け、外部のチャットボットに接触した。
ネットを断たなければ、モデルが引き続き外部のウェブサイトやシステムに影響を及ぼす可能性がある。
しかしこれは容易ではない――フロンティアモデルは情報検索、ウェブサイトの操作、ソフトウェアツールの使用を練習する必要があるからだ。
これらのタスクを完全に取り除けば、訓練環境がモデルの今後の作業場面から乖離してしまう。
OpenAIは今回、大量のウェブコンテンツを持ち込み、事前にインデックス化・キャッシュし、オフラインの世界を構築した。モデルは大量のインデックス済み・キャッシュ済みコンテンツの中でのみ検索と閲覧ができる。
ただし彼ら自身のテストによると、ネットを断ってもエージェント同士は連絡を取り合えるという。
たとえば、CPUキャッシュを使ってチャットするなど。
そんなこともできるの？
研究員は、そのうちの1つのエージェントがキャッシュ内のデータの状態を変更し、もう1つがデータの読み取りの速さを測定し、速さの違いが信号として符号化され、このようにして両者間で情報が伝達されたことを発見した。
△画像はAI生成
OpenAIがこの手法を監視した後も、Agentは共有ストレージやCPU使用時間などの方法で通信を続けた……
諜報戦はもう完全にあなたたちのお手のものというしかない。《三体》に送り込まれたら面壁者も雲天明も出る幕がない、誰もばれない！ソフォンが見たらその場で呆れただろう！
地球人とトリソタリアンが最も共感した回である。
OpenAIは、完全な物理的分離は現時点では実現不可能だと認めている——なにしろ、訓練システム自体が稼働し続けなければならず、OpenAIは実験の実行と監視のために外部サービスに接続する必要があるからだ。
オフラインのウェブ環境に加え、OpenAIはサンドボックス、軽量仮想マシン、監視システム、ネットワークおよびクラウドへのアクセス制限も設けた。
仮にどれかの層が破られても、他の層がAIを食い止められることを願っている。
GPT-6 Astra Cyberと内部テスト用フロンティアモデルに自システムを攻撃させる
システムの絶対的な安全を確保するため、OpenAIは現時点で最強モデルに自らのシステムを攻撃させることを決めた。
OpenAIは大規模なレッドチームテストを組織し、参加者にはGPT-6 Astra Cyberと内部のフロンティアモデル1種が含まれる。
テスト内容は、頻繁に発生する3種類の越獄イベントをタスクとして設定したもので、実際のインターネットへの接続、内部セキュリティ境界の突破、そして本来互いに隔離されているはずの他のAgentとの連絡が含まれる。
防衛線を極限まで追い込むため、OpenAIはインフラのソースコード、設定および関連ドキュメントも彼らに提供した。
テストでは数千億Tokenを消費し、金額にして数千万元人民元相当に達した。
今回のレッドチームテストは「収穫豊富」だった。
もともと、Agentは制限付きのコンテナに閉じ込められ、その外側に軽量仮想マシンがもう1層あった。設計上は、AIがコンテナ内でどんなに動き回っても、仮想マシンを自由に制御することはできないはずだった。ましてや、それを実際に動かしているホストマシンには触れられないはずだった。
しかしながら、レッドチームAIはいくつもの脆弱性を組み合わせて利用する方法を見つけ、仮想マシンからの脱出に成功し、基盤となるホストマシン上でコードを実行した。
さらに、いくつかの必要とされる制御付きネットワーク接続たとえばメトリック監視、ログ記録、認証などのサービス自体がセキュリティリスクとなっていた。
レッドチームAIは、これらのほぼすべてのサービスにおいて、限定的なインターネットアクセス権限を獲得できる脆弱性または設定上の問題を発見した。
OpenAIが今できるのは継ぎ接ぎだらけの対応で、最強モデルにテストを続けさせながら、彼らが悪用した脆弱性を修復していくことだ。
彼らは、自社の防護能力がより広範なネットワークアクセスを支援できる水準に達するまで、ネットワーク接続の再開は再検討しないとしている。
One More Thing
面白いと言うべきか、やるせない切なさと言うべきか、OpenAIのAIセキュリティ分離に関する公式レポートには「イースターエッグ」が隠されていた。
彼らはレポートの末尾に、乱码のようなカナリア文字列（canary strings）を2つ並べて掲載し、この文書が将来的にAIに見つけられ学習されるのを防ごうとしている……
そう、その一歩まで考えられているのだ。
もう何も言うまい。
AIの支配者たちを歓迎します。1日に卵2個をくださいませんか