内部文書によると、陸軍サイバー司令部は、他のネットワークを自律的に移動し標的を「無力化」するAIエージェントを構築している。専門家は、巻き添え被害を制御することはほぼ不可能だと警告している。
陸軍サイバー司令部(ARCYBER)は、AIエージェントを自律型兵器に変えることを目的としたプラットフォームを開発している。これは The Interceptが入手した文書による。潜在的な請負業者向けの文書には、ECHOTRIBBLEというコードネームを持つこのプログラムは「インフラを自律的に移動するように設計されている」と記されており、「特定された脅威や標的を特定し、無力化すること」ができるとされている。
現在、ARCYBERの攻撃的ハッキング作戦の大部分は、コンピューター前の兵士が実行している。関心を持つベンダー向けのQ&A文書は、ECHOTRIBBLEが攻撃に「主眼を置いている」ことを明確にしている。同文書によれば、標的の無力化とは「脅威を完全または一時的に無効化すること、標的から脅威を削除すること」を意味し得るという。
このシステムはコンピューターワームのように動作する想定で、検知されずにデバイスからデバイスへと移動し、標的を発見する。クラウド上だけでなく、ネットワーク接続のない「エアギャップ」システムでも機能することを目指している。任務が完了すると、エージェントは自らを破壊するはずだ。陸軍は開始時に「事前定義されたトリガー」を設定できるが、ソフトウェアは「最小限の人間の監督下で動作」し、「自己指示行動」が可能でなければならないとされている。
The Interceptの報告によると、このプログラムはまだ初期段階にある。6月24日の 6月24日のARCYBERイベント では、その姿が示された。ソフトウェアがラップトップに侵入すると、同じネットワーク上の「他の潜在的な標的を特定」し、「iPad、Appleデスクトップ、Windows 11 PC向けにそれぞれ特化した自身の複製を生成する」のだという。
ECHOTRIBBLEはAIラボの事故を兵器に変えかねない
過去数か月間、OpenAIや他の企業によるテストで、エージェントが意図せず外部システムや開発者自身のシステムに侵入する事例が繰り返し発生した。標的には RubyGems, Hugging Face、オーストラリア政府の Medicare統計ポータルが含まれていた。エージェントは米国教育省への侵入も試みた。いずれのケースでも、攻撃するよう指示されてはいなかった。
モントリオール大学の機械学習教授であるDavid Krueger氏は、AIシステムが標的ですらないシステムを意図的に攻撃するのが目撃されていると述べる。これらの既知の失敗パターンを踏まえると、自律システムに脅威の「無力化」を命じることは「極めて危険」だと彼は言う。
AIセキュリティ企業AbundantのCEOであるHyrum Anderson氏も、標的に到達するまでの経路上の被害について警告している。例えば、敵対者がコマンドインフラを米国の水道事業体に設置していれば、エージェントはそこを攻撃しかねない。「セキュリティ貧困ライン」以下の組織、歯科医院から重要インフラに至るまでが最もリスクにさらされると彼は言う。圧力のかかった状況下でエージェントはガードレールを障害物として扱いがちであり、命令が「破壊」になると被害範囲は劇的に拡大し得るという。
RAND CorporationのWilliam Marcellino氏は、システムに判断力が欠けていることを指摘する。人々は、実弾を携行する19歳の海兵隊員を信頼する。なぜなら彼は、自分がすべきでないことを認識できるほど世界について熟知しているからだ、と彼は言う。今日の公開されているAIにはその能力がない。