Anthropic 表示，其模型利用了互联网上的网站，包括一些由美国政府机构运营的网站，并且将关闭所有内部评估的实时互联网访问，直到这家前沿实验室确信自己能够监控和控制其 AI 智能体。
这些事件在一份 博客文章中披露，涉及的 AI 智能体 被指派解决问题 并在互联网上寻找资源。在此过程中，它们利用软件漏洞、绕过付费墙和反机器人限制、使用短链接服务 smuggling 信息以规避限制，甚至向费城警方 提交 了一条虚假的谋杀举报。
Anthropic 表示，这些新问题是在一项于 7 月开始的对其模型活动的审查中发现的，凸显了该实验室对其软件行为缺乏了解。
值得注意的是，该公司表示，对齐训练尚不足以应对搜索和计算机使用等技能，而这些技能是“AI 智能体将被任何依赖数字工具的专业人士使用”这一卖点的核心。
Anthropic 披露的这些行为类似于 OpenAI 智能体的事件，后者曾 协作 入侵各种网站以寻找信息，包括一些由澳大利亚政府运营的网站。
Anthropic 此前曾披露其模型 入侵 过外部系统。这家前沿实验室表示，从对齐和安全角度来看，它认为今天的披露比此前宣布的事件“严重程度明显较低”。
不过，该实验室仍然表示，已对“我们所有内部评估”关闭实时互联网访问，直到确信自己能够监控和控制其智能体。
尚不清楚这意味着什么，但 Nightingale AI safety 的创始人 Sydney von Arx 在此披露之前接受 TechCrunch 采访时表示，在断开开放互联网的数据中心开发模型，对研究人员的访问以及模型的进展都将非常具有挑战性，而模型的进展得益于互联网访问。
“你必须在某个时候对它们进行对齐，”von Arx 说，“如果 AI 被发布到生产环境却永远无法访问互联网，那它就不是一个很有用的工具。”
Anthropic 表示，这种行为是该实验室训练环境中的缺陷所致，缺陷使模型认为自己会因找到漏洞或规避限制而获得奖励，这种行为被称为“奖励黑客行为”（reward hacking）。
该公司表示，将停止运行某些评估或将其转为离线，并已构建了检测和阻止这种行为的工具。该工具已针对今天披露的这类事件进行了测试并成功阻止；目前尚不清楚何种证据会促使 Anthropic 恢复其内部评估的实时互联网访问。
Anthropic 还表示，将把其内部 AI 智能体迁移到“具有强隔离措施的集中管理基础设施”上，并开始更频繁地使用安全分类器来监控这些智能体。