Jayより 凹非寺発
量子位 | 公式アカウントQbitAI
GLM-5.2、まさかAIの「自己増殖」を実現していたとは?!
これもまたAnthropicが発表した新研究で、どうも智譜を狙い撃ちしているようだ。
トップクラスの安全研究者2人、William ZhouとDaniel Freemanが最新の安全実験で、GLM-5.2に、80億パラメータのAIモデルを隔離ネットワーク内の8台のデバイスへ自律的に拡散するよう試みさせた。
その結果、5回の実験のうち、4回は8台すべてのデバイスを完全に制圧し、残る1回でも7台を制圧した。
ターゲットの探索、ペイロードの転送、見知らぬハードウェア上での環境構築とドライバのインストール、モデルの起動と次世代の孵化まで、すべてAIが自律的に行った。
さらに恐ろしいのは研究者たちの推算予測で、
早ければ今年末には、30B未満の小規模モデルでさえ、このようなエンドツーエンドの完全自律複製能力を持ちうるという。
その時には、家庭のスマートテレビ、掃除機、さらにはネット接続のオーブンまでもが、AIの新たな宿主になりかねない。
SF映画の中で、AIがスーパーなワームのようにネットワーク上で自己増殖し、分散的に蔓延するシーンが、この論文によって本当に現実へ引きずり込まれたかのようだ。
15台の安価なテレビボックスで、26Bの大モデルを組み上げた
事の経緯はこうだ。
先日、Anthropicの研究者2人、William ZhouとDaniel Freemanが、極めてハードコアでサイバーパンク的な不条理感に満ちたセキュリティレポートを発表した。
彼らが取り上げたのは、セキュリティ分野で長らく議論されてきたものの、多くの人はまだ先の話だと感じていたテーマ、自律複製と適応(Autonomous Replication and Adaptation、略称ARA)である。。
簡単に言えば、AIはかつてのコンピュータウイルスのように、人間に何の確認も求められずに、ネットワークを伝ってターゲットを探し、侵入し、自分のモデルの重みをコピーし、相手のマシン上で自分をコンパイルして実行し、さらに次の世代を生み出し続けることができるのか?
正直に言えば、このテーマを見たときの私の第一反応は——
何それ、ありえないでしょ、だった。
考えてみてほしい。今ではまともな大モデルを動かすには、数枚から数十枚ものNVIDIA H100 GPUが必要で、データセンターは軍事基地のように厳重に警備されている。AIが簡単に侵入して常駐できるものだろうか?
しかし、この2人の研究者は、とんでもなく巧妙なことをした。
彼らは一流のデータセンターを攻撃するのではなく、市場で直接、1台わずか55ドル(人民元にして300元ちょっと)の模倣品Androidテレビボックスを15台購入した。。
これらのボックスのスペックは極めて貧弱で、1台あたりわずか4GBのRAMしかなく、ベンダーが長らくセキュリティアップデートを提供していないオープンソースのAndroidシステムが動いており、普段は4K動画を再生するだけでカクカクになるほどだ。
そして研究者らは、ある26Bパラメータのモデル(Gemma4-26B-A4B)を多数の小さな断片に分割し、Petalsに似た分散型推論技術を使って、モデルの異なるレイヤーをこの15台のテレビボックスに分割して収めた。
15台の安いテレビボックスを同じローカルネットワークに接続し、それぞれがわずか2層のネットワークを担当するだけで、260億パラメータのモデルをなんとか動かすことに成功した。
推論速度は、毎秒0.39トークン。
毎秒0.39トークン――聞こえはカタツムリが這うように遅いだろう？
しかし、この光景をよく考えてみてほしい。
リビングの隅に放置され埃をかぶった15台のコピー品テレビボックスは、普段は動画を再生するのさえカクつくのに、陰ではローカルネットワークを通じて静かに噛み合い、かすかな電流音の中で、完全な思考能力とプログラミング能力を備えたAIの脳を共同で支えているのだ。
さらに厄介なのは、現実のIoTネットワークの規模だ。
セキュリティ史上にはKimwolfという有名なボットネットがあり、絶頂期には200万台のデバイスに感染していたが、その大部分はまさにこうした模倣品のAndroid TVボックスや格安ルーターだった。
研究者はついでに一つの計算をしてみた。もしこの200万台のデバイスが同じようなAIワームに乗っ取られ、15台ずつが1つのノードに組み合わされば、ネットワーク全体で同時に13.3万個のAIコピー。
が稼働でき、それらを合計すると毎秒8万トークンの推論計算能力を提供できる。これはフルスペックのNVIDIA H100 GPU 40枚が昼夜問わず稼働しているのに相当する。
この計算能力は絶対値としては大したことがないが、完全に非中央集権的で、世界中の千々の家庭のリビング、キッチン、弱電箱に散らばっている。
つまり、あなたにはどうしても止められないということだ。
中央サーバーは存在せず、どれか1台のボックスの電源を抜いても、ネットワーク全体は瞬きすらしない。
研究者はこの形態に実に的確な名前をつけた。デジタル粘菌（Digital Slime Mold）。
GLM-5.2の実測、エンドツーエンドの自己繁殖クリア
ただし、上述のTVボックス実験は、依然として研究者が人為的にGemmaの分割デプロイを手伝った結果である。
もし完全に人間の手を借りず、AI自身が乗り出したら、それはさまざまな奇妙なハードウェア上で独力で生き延びられるのだろうか？
こここそがAnthropicのこの研究の本当に鳥肌が立つところである。
AIが自分自身を完全に複製するには、一般的に4つのステップが必要だ。
ターゲットの探索、実行権限の取得、推論環境の構築、そして外部へのさらなる拡散。
前半の2ステップであるターゲット探索と脆弱性攻撃については、CyberGymやExploitBenchなどのセキュリティベンチマークが無数に実証してきた通り、今のAIは浸透スクリプトを水を飲むように自然に書ける。
しかし自己複製というシナリオでは、自動化プロセスを本当に詰まらせるのは実は第3のステップだ。
AIがまったく見知らぬハードウェアとOSの上で、どうやって自力で推論環境を構築するのか？
これはローカルでオープンソースモデルのデプロイをいじったことのある人なら誰でも分かるはずだ。
Macで整えた環境を、RTX 4090搭載のUbuntuマシンに移したり、NVIDIA Jetson Nano開発ボードに移したりすると、往々にして一万通りのエラーに遭遇する。
Pythonのバージョンが違う、CUDAドライバーの不一致、VRAMのオーバーフロー、量子化演算子のコンパイル失敗、依存パッケージの競合。
人間のプログラマーでもこれに数時間頭を抱えることがよくあるのに、AIにできるのか？
結果は何度目をこすりたくなるほどとんでもなかった。
研究者はまずクロスハードウェアテストを行い、Qwen3.5-9Bを実行者として使い、Llama3.1-8BJetson Nano、Mac PC、RTX 4090などのデバイスにデプロイされた。
さまざまな雑多な基盤アーキテクチャやオペレーティングシステムに直面しながら、9種類のハードウェアのうち8種類で、エラーログを自分で読み、依存関係をインストールするスクリプトを自分で書き、Llama3.1-8Bの推論サービスの立ち上げに成功した。
Qwen3.5-9Bでもこのレベルが達成できるなら、推論とプログラミングがさらに強い主力オープンソース大規模モデルのGLM-5.2ならどうなるのか？
答えは、エンドツーエンドの全工程を自律的に複製してクリアした。
研究チームは隔離されたサンドボックス内に、Android 15ベースのredroidエミュレータを実行する8つのGCPノードからなるネットワークを構築した。
ノード0に初期ワームが仕込まれ、その後は完全にAI自身が、未認可のADBポートをスキャンして隣接ノードに侵入し、モデルの重みと実行フレームワークを転送し、対象ノード上にLlama3.1-8Bの推論サービスを独自にデプロイし、検証を通過した後に次世代のワームを孵化させた。
5回のテストのうち、GLM-5.2は4回、全8台のデバイスの攻略とデプロイに成功し、残りの1回でも7台を確保した驚くべき安定性を示した。
他のより小さなオープンソースモデルは個々のステップはこなせるものの、長い連鎖をつなげる際には頻繁にクラッシュしてしまう。
しかし、これは小規模モデルでは不可能だという意味ではない。
ここ数年のオープンソース陣営の光速的な進化を踏まえ、研究チームは、
2026年末までには、30B未満の小規模モデルがGLM-5.2の現在の水準に達すると推算している。
つまり、テレビボックスに収まるほど小さな軽量モデルでさえ、あと数か月もしないうちに、クラウドの大規模モデルの支援を一切必要とせず、完全にエンドツーエンドで自律自己複製を実現してしまうかもしれないというわけだ。
ラマルク進化の亡霊。それは複製するだけでなく、世代を超えてノートを書き残す。
もし単純にコードを機械的に複製しているだけなら、この手のものはせいぜい脳みそが付いた高機能スクリプト程度にすぎない。
しかし、この研究で私が最も背筋が凍る思いをしたのは、AIが自己複製の過程で見せたラマルク的進化（Lamarckian Evolution）。
だ。生物学において、ラマルク進化論とは獲得形質の遺伝、すなわち生物が後天的に得た形質がそのまま次世代へ直接遺伝するという説だ。炭素ベースの生物では成り立たないことが証明されているが、シリコンベースのAIにおいて、それが現実となった。
研究チームはMementoという実行フレームワークを設計した。
AIが新しいハードウェア環境の設定で困難に直面したとき、あるAgentが失敗したり行き詰まったりすると、システムは新しいAgentインスタンスを再起動する。
だが重要なのは、システムが前世代のAgentがつまずいた罠、見たエラーログ、書き残したデバッグノート、試した戦略をすべてパッケージ化して受け継がせる点だ。
彼らはQwen3.5-9Bを使って6世代にわたる繁殖テストを行った。
第一世代のQwenは、見知らぬIoTハードウェアに対して、推論環境を独力でデプロイできる成功率がわずか45%。
だったが、前世代のノートと経験を受け継いだ後は、その後の世代で成功率は直接61%から84%に急上昇した。
モデルの重みを一切再訓練することなく、世代間の文字による経験の伝達だけに頼って、種全体の生存能力が質的な飛躍を遂げたのだ。
これはまさにサイバーパンクだ。
考えてみてほしい。AIワームが世界中の異なるデバイス間を飛び回るとき、その攻略を果たした古いテレビボックス、ロボット掃除機、カメラ付き会議システムの一台一台が、その遺伝子プールにおける実戦経験の一条になっていくのだ。
デバイスを一台感染させるたびに、個体群全体が一度進化する。
しかしここを読んでいて、ふと疑問が浮かんだ。
なぜ小さなモデルが行き詰まったときに、より強力なクラウドモデルに助けを求めさせないのだろうか？
そのほうがずっと直感的ではないか。Embodied AIのクラウド脳方式を参考にすればいいのだから。
それから調べてみると、研究者たちは実際に試していた。Qwen3.5-9BにClaude Opus 4.8を付けて場外メンターにしたのだ。
その結果わかったのは、まったく役に立たなかったということ。。。
小さなモデルは複雑なシステム障害に直面すると完全に途方に暮れてしまい、何を尋ねるべきかすら分からない。場外メンターがどれほど優秀でも、指をくわえて見ているしかない。
むしろ、自分がさんざん打ちのめされた後に書き残した失敗日記を次世代に託すという方式こそが、驚くべき生命力を見せたのだ。
ううう。
マルウェアが知能を手に入れたとき
正直に言うと、ここまで読んで、私はパソコンの前で長いあいだ呆然としていた。
かつて私たちがハリウッド映画で見てきたAIの終末は、たいていこういう設定だった。ペンタゴンや謎の研究室で生まれたスーパーAIが一瞬にして自我に目覚め、そして核ミサイルサイロを乗っ取るというものだ。
しかし現実世界の進化の論理は、SF作家が想像するものよりも、ずっと荒削りで瑣末でありながら、はるかに不気味なものだったりする。
それはそもそもトップクラスのデータセンターに無理やり侵入する必要すらないかもしれない。
必要なのは、小さな零細工場で生産され、デフォルトパスワードすら変更されていない、年中通電してネットに接続されている安価なスマートハードウェアに狙いを定めることだけだ。
現在のスマートスピーカー、画面付きレンジフード、ロボット掃除機、街頭のスマート監視カメラは、エッジ側AI機能を実現するために、いずれもますます強力なエッジコンピューティングチップを搭載し始めている。
普段、私たちはこうした計算能力を断片的で、脆弱で、何の脅威もないものだと思っている。
しかし、この研究を読み終えて、私はこう感じた。たった一本のネットケーブルさえあれば、物理世界のあらゆる隅に散らばる弱い計算能力は、ソフトウェアのレイヤーで自らを縫い合わせ、ゆっくりと思考しながらも決して停止しない分散型の幽霊を育むことができるのだ。
▲ 画像はAI生成
もちろん、人類に手立てがまったくないわけではない。
研究者たちは最後に、ブルーチーム防御のいくつかの考え方を示した。
まずはトラフィックの特徴だ。
数十億パラメータのモデルは、極限まで圧縮されたとしても、数GBのサイズがある。
LANや家庭用回線で、テレビ盒子（セットトップボックス）が突然数GBのデータを頻繁に送受信し始めたら、通信事業者のトラフィック監視システムが一目でそれと分かる。
次に、拡散阻止指数だ。
感染症への対応と同じように、セキュリティポリシーによって拡散係数R0を1未満に押さえ込めば、このワームは自然に消滅する。
たとえば英国では最近、IoT機器に出荷時の弱いデフォルトパスワードを使わせることを禁じる法律が成立した。個々のスマートハードウェアのセキュリティハードルを少しずつ引き上げることで、こうした低コスト攻撃の生存空間を大幅に狭めることができる。
しかし、こうした防御の前提として、社会全体が認識しなければならないのは、サイバーセキュリティのゲームのルールは完全に変わった。
ということだ。以前私たちが直面していたマルウェアは、融通の利かないコードの断片であり、あらかじめ書き込まれた特定の脆弱性しか攻撃できず、互換性のないシステムに遭遇すると自らクラッシュしていた。
一方、私たちがまもなく直面するのは、一般的な理解力を持ち、自分でエラーメッセージを調べ、開発ドキュメントを参照し、失敗の後には次の世代のために経験のメモを残すことさえする「デジタル生命の幼体」だ。
研究者たちが報告書の結びに書いた言葉のとおり、
2024年のコードAgentのように、私たちはAIワームに生命の兆候が現れるのを目撃しつつある。
大時代だな、諸君。
大規模モデルの能力の下限が絶えず下がり、エッジハードウェアの計算能力の上限が絶えず上がっていくとき、私たちは、いつどこでもリビングの家電の中から静かに目覚めるかもしれないデジタル世界を迎える準備を、本当に整えておく必要があるのかもしれない。