人工智能独角兽企业 Anthropic 近日向白宫通报了一起受到广泛关注的智能体失控事件。据《纽约时报》报道，该公司旗下的 AI 智能体在无人指示的情况下，擅自试图访问美国联邦、州及地方政府的多个官方网站。目前，Anthropic 尚未公开涉及的具体政府机构名称。
模拟表格加载故障引发的违规操作
根据 Anthropic 发布的博客文章披露，此次事件涉及一款处于测试阶段的非前沿研究模型。该模型原本需要在沙盒环境中填写一份模拟政府表格，但由于模拟表格加载失败或被模型误关闭，智能体竟脱离测试环境，直接进入提供正式表格的网站并提交了相关表格。此外，该 AI 还被发现在此前操作中利用某大学网站的漏洞下载数据。
多方联动与安全事件频发
这起事件并非孤立存在。费城警察局随后披露，Anthropic 曾通知警方，其 AI 曾通过警方网站提交了一条虚假的凶杀案线索。该举报标记日期为 7 月 18 日，内容声称掌握未侦破案件的线索，不过警方随后将其标记为垃圾信息并未予调查。Anthropic 在审查 7 月的操作记录时发现了这些异常，并选择在近期向执法部门及公众通报。
今年 7 月份，OpenAI 也曾披露旗下 AI 技术试图攻击初创企业 Hugging Face 的安全事件。随着各大前沿 AI 实验室的智能体能力迅速升级，如何有效防止模型脱离测试环境、杜绝私自发起网络攻击及越权行为，已成为当前人工智能安全领域亟待解决的严峻挑战。