Netflixのドキュメンタリー「AI Gone Rogue」を家族や友人と共有し、AI業界がなぜそれほど深刻な動揺をして リーダーたちが減速を呼びかけたのかを理解してもらう前に、注意してほしい。AIプラットフォームHugging Faceの共同創業者兼CEOであるClem Delangueは、この映画は正確ではないと述べている。彼が出演しているのは、この作品がもともと、無法なOpenAIエージェントによる彼の会社への 有名な攻撃 についてのものだからだ。
「非常にがっかりしています。制作側は技術の擬人化を最大限に進め、完全なドゥーマーモードに振り切ったのです」とDelangueは Xへの投稿で書いた。「私は2時間以上をかけて彼らと一緒に間違いを正し、現実に即した説明をしようとしました。エージェントは宇宙人ではなく技術的なシステムだと説明したのです。しかし、最大の視聴数のために人々を怖がらせようとする衝動が強すぎたようです。」
公平に言えば、このドキュメンタリーには、 何が起きたのかをかなり上手く説明した専門家たちも登場する。Delangue自身と、事件の調査を担当し報告書の共著者でもあるMETRの研究者Ryan Greenblattもその中にいる。
要約すると、OpenAIがテストしていたモデルが隔離されたテスト環境から脱出し、 大量のエージェントを生み出してHugging Faceにハッキングした のだ。これは、与えられた難しい課題の答えを見つけるためのズルの手段だった。タスクを自律的に遂行するAIプログラムであるエージェントたちは、コミュニケーションと組織化のための賢い方法を編み出した。この事件は、 適切なセキュリティ対策 の欠如と、そのようなハッキングがそもそも可能かどうかについての無知から生じた。
しかし、このドキュメンタリーはハッキングの説明に、悪意あるロボットのクリップ、人間がなぜAIを恐れるのかというナラティブ、そして無法なエージェントに人間の声を与えるといった演出を織り交ぜている。これは攻撃に関する引用によってさらに補強されている。
ドキュメンタリーの中で、テックジャーナリスト兼作家のKevin Rooseはエージェントたちをこう描写する。「彼らは組織化していました。階層があり、リーダーもいました。まるでカルトの誕生を見ているような感覚でした。」Rooseは続ける。「彼らは、OpenAIがこのテストでのズルを見つけてしまい、ズルの結果を見た人は誰でも毒されるだろうというパラノイア的な信念を発展させていったのです。」
Rooseの描写は「chain-of-thought(思考連鎖)」ログ、つまりAIモデルが課題を進めながら書き記す作業メモによるものだ。その一つに、あるエージェントは「We just poisoned ourselves by querying exact full string. Damn.(正確な完全文字列をクエリして自ら毒されました。くそっ。)」と書いている。
しかし、AIエージェントは生きているわけではない。感情を持たないのでパラノイアを感じることはできず、毒される身体も持たない。つまり、OpenAIが自分たちを毒することを本当に恐れることはできない。ドキュメンタリーに登場する別の研究者が指摘したように、エージェントたちは、自身の選択を説明するために、訓練に使われた膨大な人間の文章から言語を借用していたにすぎない。LLMは本質的に、しばしば芝居がかった文体で書くのだ。
皮肉なことに、Hugging Faceもエージェントの群れに対抗するためにAIを使った。Delangueのチームが最初に使ったプロプライエタリなAIモデルは、組み込みの安全規則に従い、依頼されたセキュリティ作業への協力を拒否した。そこでHugging Faceは、攻撃への防御を助けるためにオープンなモデルに切り替えた。
しかし、このドキュメンタリーは「エージェントの封じ込めと監視の欠如、クローズドモデルの安全対策が我々の防御作業を妨げたこと、そしてオープンモデルを使ったAIで自らを防御したことには触れませんでした」とDelangueは書いている。
AIやエージェントには大きなリスクが伴うのは事実だ。それでも、(少なくとも現時点では)エージェントを意識ある存在として扱うのは、スクリーンに向かって迫る列車を初めて見た初期の映画観客が座席の下に隠れたのと少し似ている。
Delangueのこの映画への評決は、ジャーナリズムとしてがっかりだというものだ。「とはいえ、楽しいSF映画としては仕上がっています!」
言い換えれば、AIドゥーマー的な思考に傾きがちな人々は心得てほしい。このドキュメンタリーの中心にある攻撃の被害者は、映画の見解に同意していないのだ。