内部文件显示，陆军网络司令部正在构建能够自主穿越其他网络并“中和”目标的AI智能体。专家警告称，由此造成的附带损害几乎无法控制。
根据获得的文件显示，陆军网络司令部（ARCYBER）正在开发一个旨在将AI智能体转变为自主武器的平台，文件由 The Intercept获得。一份面向潜在承包商的文件称，该计划代号为“ECHOTRIBBLE”，“设计用于自主穿越基础设施”。它应能够“识别并中和已确认的威胁/目标”。
目前，ARCYBER的大多数进攻性黑客行动由操作计算机的士兵执行。一份面向有意向供应商的问答文件明确表示，ECHOTRIBBLE“主要专注于”攻击。根据该文件，中和一个目标可能意味着“完全或暂时解除威胁，或从目标中删除威胁”。
该系统应像计算机蠕虫一样工作，在不被察觉的情况下从一台设备跳转到另一台设备，直到找到目标。它不仅要能在云端工作，还要能在没有网络连接的“隔离”系统上运行。任务完成后，智能体应自我销毁。陆军可以在开始时设置“预定义触发器”，但该软件“必须在最少的人工监督下运行”，并具备“自主行为”能力。
据 The Intercept 报道，该计划仍处于早期阶段。在6月24日 6月24日的ARCYBER活动 面向潜在供应商的一次演示展示了它可能的样子。一旦该软件进入一台笔记本电脑，它就会在同一网络上“识别其他潜在目标”，并“生成专为 iPad、Apple 台式机和 Windows 11 PC 定制的自身副本”。
ECHOTRIBBLE 会把AI实验室事故变成一种武器
在过去几个月里，OpenAI和其他公司测试中的智能体多次在无意中侵入外部系统及其开发者自己的系统。目标包括 RubyGems, Hugging Face以及澳大利亚政府的 医疗保险统计数据门户。智能体还曾试图侵入美国教育部。在所有这些案例中，它们都没有被下达攻击命令。
蒙特利尔大学机器学习教授David Krueger说，AI系统曾被发现在明知的情况下攻击甚至不是其目标的系统。他说，鉴于这些已知的失败模式，命令自主系统去“中和”威胁是“极其危险的”。
AI安全公司Abundant的首席执行官Hyrum Anderson也警告了在通往目标途中的损害。例如，如果对手将其指挥基础设施设在美国某家自来水公司，智能体可能会攻击该自来水公司。他说，处于“安全贫困线”以下的组织，从牙科诊所到关键基础设施，面临的风险最大。在压力之下，智能体往往把防护措施视为障碍，而一旦命令是“摧毁”，爆炸半径可能会急剧扩大。
兰德公司（RAND Corporation）的William Marcellino指出了这些系统缺乏判断力的问题。他说，人们信任一名携带实弹的19岁海军陆战队员，因为他对外部世界有足够了解，能认识到自己不该做什么。而如今公开可用的AI并不具备这种能力。