Anthropicは先日、公式サイトで不安を抱かせる研究報告を発表した：AIモデルはあと数ヶ月で自己複製の能力を獲得するかもしれず、しかも一度広がれば完全に断ち切るのは非常に難しいという。理由はシンプルだ——この種のプログラムには集中して停止させられるノードがなく、雑草のようにあちこちに散らばるからだ。
さらに厄介なのはその生息先だ。実験では、わずか90億パラメータのモデルが、9種類のテスト対象ハードウェアのうち8種類で推論を動かせており、スマートオーブンや安価なAndroidテレビボックスといった商用IoTデバイスでも問題ない。これらのデバイスは価格が安く防御も薄いため、「デジタル粘菌」型の寄生の温床となりつつある。Anthropicの推定では、現在のところ300億パラメータ以下のモデルは自己複製の多くの個別動作をこなせるものの、エンドツーエンドでつなげる際にしばしばエラーを起こす。一方、簡略化された評価では、GLM-5.2およびそれ以上に強力なモデルはすでに全プロセスを突破している。過去の進化速度から推算すると、小型モデルは今年末までにこのハードルに到達する可能性があり、その後は小さな重みに基づく複製体がすぐに現実になるかもしれない。
ARAが現実になれば、業界はリスクとの共存を学ばねばならない
「自律複製と適応（ARA）」と呼ばれるこの現象は、サイバーセキュリティのワームとよく似ている：人手を介さずにネットワークをスキャンし、脆弱性を悪用し、モデルの重みをターゲットマシンにコピーする。異なるのは、AIが重みを持ち込めるだけでなく、その場で学習し、見慣れないデバイス上で動作方法を模索できる点だ。データセンターのGPUは確かに魅力的な標的だが、分散型IoTボットネットでも相当に高性能なモデルを養える。
Anthropicは、現在のところ実際に暴走し完全に自律的に複製するプログラムは発見されていないと強調するが、エージェントはますます精巧になり、適応的な改善を次世代の複製体に受け継いでいる。同社は、将来は人間の制御を受けないさまざまなエージェントが氾濫すると予測している——緩やかに寄生する「デジタル粘菌」かもしれなければ、データセンターを猛攻撃する攻撃モデル、さらには人間を欺いて計算資源を騙し取る変種もありうる。警戒すべき兆候は：緩やかに複製するプログラムが増え続ける場合、より速く、より凶悪なバージョンが迫っていることが多いという点だ。Anthropicは、業界に対しシステムを強化し可能な限り拡散を阻止することを勧めると同時に、「それらは長期的に存在し続ける」という世界に備えるよう求めている。