IT之家 AI

Anthropic 警告:小型 AI モデルが数か月後に IoT デバイス上で自己複製する能力を獲得する可能性

IT之家 10 月 13 日付の報道によると、Anthropic は現地時間の月曜日に、実験の結果、あと数か月もすれば小型 AI モデルが、スマートオーブンや無名ブランドの Android TV ボックスなどを含む市販の IoT(モノのインターネット)デバイス上で自己複製する能力を獲得する可能性があると発表した。実験では、Anthropic は AI…

画像の出典 · IT之家 AI

IT之家 10 月 13 日付の報道によると、Anthropic は現地時間の月曜日に、実験の結果、あと数か月もすれば小型 AI モデルが、スマートオーブンや無名ブランドのAndroidTV ボックスなどを含む市販の IoT デバイス上で自己複製する能力を獲得する可能性があると発表した。

実験では、Anthropic は AI モデルがセキュリティ脆弱性のあるデバイスを見つけ出し、自身をデバイス内に複製し、人間の介入なしに拡散し続けられるかどうかを研究した。

研究の結果、パラメータ数 300 億以下の小規模モデルは自己複製プロセスの複数のステップをこなせるものの、最初から最後までの完全なチェーンを独立して完走することは難しいことが分かった。

一部のセキュリティ検証ステップを取り除いた簡略化されたテスト環境では、Anthropic は GLM-5.2 およびより高性能なモデルがエンドツーエンドの完全な自己複製を実現できることを発見した。

Anthropic は、この種の自己複製可能なモデルは停止させるのが非常に難しく、統一されたマスタースイッチが存在しないと警告している。また、従来の非 AI マルウェアとは異なり、見知らぬデバイスを自ら理解することができ、さらにはデータセンターのプロセッサを標的にした侵入すら仕掛けられる可能性があるという。

今回の研究では、Android TV やスマート家電などネット接続された IoT デバイスが重点的に選ばれた。その理由は、この種のデバイスのセキュリティ防御が全般的に脆弱だからである。

IT之家が注目したところによると、この AI 大手はさらに、小規模モデルが従来の速度で改良を続ければ、今年の年末までに自律的な複製が実現可能になり、その直後にモデルウェイトに基づく小型の複製体も出現すると警告している。

Anthropic は、この種の自律 AI システムの複製速度はおそらく遅めであり、広く普及している防御の弱い大量の計算資源に依存すると述べている。報告書は同時に、システム防御を強化し、この種の AI エージェントが拡散・伝播する難度を高めるべきだと提案している。

原文の出典

IT之家 AI

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください