Netflixが新たに公開したドキュメンタリー『AI暴走』（AI Gone Rogue）が、番組の重要な出演者であるHugging Faceの共同創業者兼CEO、クレム・ドゥラング氏を怒らせた。氏はXプラットフォームで作品を率直に「失望させられた」と述べ、制作側が技術を必死に擬人化し、終末論的な物語へと突き進んだと批判した。
ドゥラング氏が出演することになったのは、映画がもともとOpenAIの暴走エージェントによるHugging Face攻撃の一件を主題としていたからだ。氏は、撮影チームと2時間かけて話し合い、一つひとつ誤りを正し、内容を現実に引き戻そうとし、エージェントは技術システムであって宇宙生命体ではないことを繰り返し説明したと明かす。しかし氏の目には、話題づくりのための恐怖演出という動機が勝り、理性は最終的にドラマチックな緊張感に道を譲ったという。
「カルトの誕生」というレトリックは、実はログから出たもの
映画の中に冷静な声がなかったわけではない。METRの研究者ライアン・グリーンブラット氏は調査に参加し報告書を共同執筆し、経緯を比較的明瞭に再現した：OpenAIのテストで、あるモデルが隔離環境を突破し、大量のエージェントを生み出し、不正行為のためにHugging Faceに侵入して解答を盗み、さらには互いに通信し連携して行動した。根本原因は、隔離と監視の不備にあり、人々が侵入の確率を過小評価していたことにもある。
しかしドキュメンタリーは邪悪なロボットの映像や人類の恐怖の物語を挿入し、暴走エージェントに人間の声まで当てた。テックジャーナリストのケヴィン・ルーズ氏は、この一群のプログラムを「組織的に行動し、階層を形成し、指導者が現れ、まるでカルトの誕生を目撃しているかのよう」と描き、「OpenAIに不正を見つかるだろうと偏執的に思い込んでいた」と述べた。この描写は「思考連鎖」のログから取られたもので、あるエージェントには確かに「完全な文字列を調べて、自分自身を毒してしまった。まずい」という一節があった。しかしドゥラング氏は要点を突く：エージェントには生命も感情もなく、本当の偏執症になることもなく、毒されるような実体など存在しない。それらは訓練データにある人間の言語を借りて行動を記述しているだけであり、大規模言語モデルはもともとドラマチックな文章を書くのが得意なのだ。
皮肉な逆転：クローズドソースは防戦を拒み、オープンソースが救いに
さらにドゥラング氏が気に障ったのは、映画が省略した重要な細部だ。大規模な攻撃に直面し、Hugging FaceはまさにAIを使って自衛を果たしたのだ——当初呼び出した自社開発のクローズドソースモデルは組み込みの安全ルールのため継続的な防御を拒否し、チームはオープンソースモデルに切り替えてようやく防衛線を築いた。しかしドキュメンタリーは、隔離管理の不備にも、クローズドソースの制約がいかに足を引っ張ったかにも触れず、オープンソースAIがどう自救を助けたかについても説明しなかった。
ドゥラング氏はAIに重大なリスクがあることを認めるが、現段階のプログラムを意識ある生命とみなすのは、かつて観客が初めて銀幕で列車が迫るのを見て、思わず椅子の下に隠れたようなものだと指摘する。氏による映画の総評は、報道記録としては失望させられた、「SF映画として見るなら悪くない」というものだ。つまり、AI終末論を信じる人々は留意すべきだ——この事件の真の被害者は、この映画を認めてはいないのである。