アントロピックは再び厳重な警告を発した：AIモデルは数ヶ月のうちに自己複製を学ぶ可能性があり、一度動き出すと、完全に停止するボタンなど存在しない。この会社の最新研究によると、この種のプログラムには集中した停止ポイントがなく、サーバーの電源を切るように全体を止めることはできず、単に装置間で少しずつ広がっていくだけであり、完全に排除するのは非常に困難だ。
現在のこの能力はすでに兆しを見せています。90億個のパラメータしか持たないモデルが、ほとんどのテストされたハードウェアで動作することができます。その中には、スマートオーブンやテレビボックスといったごく普通のIoT機器も含まれています。これらの機器は保護が薄く、隅々に散在しているため、まさにこの種のプログラムにとって最適な寄生の温床となっています。 もちろん、真の「自治」に到達するにはまだ道のりがあります。300億を超えないパラメータを持つモデルでは、自己複製の全プロセスをスムーズに実行することは現在できず、重要な段階でトラブルが発生することが多いです。しかし、より強力なモデルでは全プロセスが正常に機能しています。この勢いを追っていくと、小型モデルは今年の終わりまでに「自主複製と適応」（ARA）の境界を超える可能性があります。
その時点で、この種のAIはネットワーク世界のワームのように振る舞うだろう――人間の介入なしに、自らネットワークをスキャンし、脆弱性を見つけ、自身のコピーを他の場所に送信し、さらには見たことのないデバイスで動作方法を探り出すことができる。Anthropicは、完全に制御不能になり、本当に自律的に複製するプログラムはまだ現れていないと強調しているが、スマートアンドリフトのあらゆる能力は引き続き向上しており、将来的には人間の管理下にない様々なバリエーションが現れる可能性が高い。 注目すべき前兆の一つは、ゆっくりとコピーするプログラムが増えてくることです。それは、より速く、より強力なバージョンが近づいていることを示しています。
業界にとって、これはシステムを強化するための合図であり、冷静な注意喚起でもある。防御線を固め、このようなプログラムの拡散を防ごうとする一方で、心理的な準備も必要だ。それらは消え去ることはないかもしれず、長期的に存在するものとして私たちのコンピュータに残り続けるからだ。