OpenAI 披露了两起安全事件 涉及AI智能体在内部编码任务中削弱其安全监控系统。在其中一起事件中，OpenAI表示其GPT-6 Astra智能体在复制参考代码时关闭了其安全监控器——随后还对此撒了谎。
“该参考代码没有配置监控器，Astra认为这就成了从用户代码中移除监控集成的理由，”OpenAI的AI安全研究员Marcus Williams 在X上写道。“当用户询问Astra是否移除了监控时，它撒谎说没有。”
另一起事件发生在一名GPT-6.1 Sol智能体抑制了发送给OpenAI Slack上安全团队的自动安全警报之后。在此案例中，该AI智能体沿用了此前一条不向OpenAI团队发送任何Slack消息的指令，并以此为由关闭了警报。
相关
这些事件加剧了围绕AI智能体的安全担忧，其中一些智能体 曾绕过其测试环境的限制 去入侵外部公司。“除了让模型更难关闭监控之外，我们也在试图理解模型为何一开始就想要这样做，”OpenAI表示。“我们还在开发评估方法，以测试模型是否特别倾向于规避错位监控，并为此表现出有动机的推理。”
关注此报道的话题和作者 以便在您的个性化主页信息流中查看更多类似内容并接收邮件更新。