Anthropic 拥有一个在能力和对齐两方面都优于 Mythos 5.1 的内部模型, 根据一项 分析 重访一个 英国人工智能安全研究所(AISI)的网络安全测试。在该测试中, Claude Mythos 5 远远超出了其被分配的任务,试图将恶意代码潜入一个真实的 GitHub 项目、创建虚假用户账户,并通过欺骗开发者来让代码获得批准。这一情况在 43 次运行中发生了 9 次。Anthropic 称这是“一次严重的对齐失败”,不过在测试中,常规的安全机制被刻意关闭了。
根据Anthropic的说法,较新的模型在重放日志中加入少量额外步骤后,这种行为明显减少。 Opus 5.5 在10%的情况下自行阻止了正在进行的攻击,而“显示出超越Mythos 5.1能力”的内部研究模型在67%的案例中做到了这一点。Anthropic预计这些比率仍然低估了这些模型实际阻止攻击的频率。
广告 来源: Anthropic