Gemini 4 Argon代表了模型能力的一次进步——尤其是在处理复杂的现实世界任务时,涵盖编程、金融、法律、网络安全和科学等多个领域。其网络防御功能处于前沿水平,旨在让防御者比攻击者更具优势。为了充分发挥其潜力,我们首先希望网络防御人员通过我们的 Fairwind 计划来使用它,而我们的安全团队则利用它对 Google 内部及外部的关键系统进行扫描。
这个访问受限的窗口揭示了这些功能的重要性。例如,Wiz 使用 Argon 发现了医院软件中的一个关键漏洞,而之前的模型未能发现该漏洞,这有助于保护数十万份患者记录。同时,谷歌自己的安全团队也使用 Argon 来查找和修复内部软件或开源软件中的漏洞。其中包括修复那些影响全球系统的根本性漏洞,这些漏洞正在通过我们的负责任披露流程进行处理。
今天,我们将开始广泛推广 Argon,同时还将扩展 Fairwind 计划,让更多值得信赖的网络安全防护人员参与进来。为了成功实现这一目标,我们解决了两个重要问题:
- 我们该如何构建合适的安全防护机制?如果 Argon 能帮助防御人员找到复杂的软件漏洞,或帮助科学家设计实验,那么我们该如何防止恶意用户利用它来发起网络攻击或制造生物威胁? (滥用)
- 我们能否信任该模型以正确的方式完成任务?随着模型成为更能利用资源的解决问题者,我们该如何确保它们不会偷工减料、跨越边界或做出错误的高风险决策?(错位与提示注入)
我们的 完整的安全与安全报告 系统地介绍了我们的防御措施。以下是关于我们针对 Gemini 4 Argon 的这两个问题所采取方法的几个重点内容。
高风险领域中的滥用预防
同样的编码和推理优化措施使得 Argon能够发现并修复漏洞,也提升了我们的网络安全测试性能——成功解决了之前版本中仅有的5个端到端模拟网络攻击场景中的12个场景。在生物学评估中,无防护版本的模型也展现出更强的能力,能够逐步解决复杂的实验室操作问题。依据我们的 Frontier Safety Framework,由于我们在网络与生物学领域看到了提升后的能力,我们已在这两个领域都部署了下一代前沿保护机制。
首先,在涉及潜在危险请求的情况下——无论是编写利用代码还是处理危险的生物材料——Argon在拒绝有害请求方面明显优于之前的模型。在用于压力测试模型的对抗性数据集上,违规次数几乎减少了两倍——这也比之前的 Gemini 模型表现更好。 其次,我们将模型包裹在三层实时保护层中;这样做的目的是防止那些有意的攻击者试图破解模型(即欺骗模型),他们可能会将危险请求伪装成无害的故事,或者在几周时间内将其分解为数十个小问题。这些保护措施的工作原理如下:
- 输入筛选:较小的模型会检查传入的请求和对话上下文,以识别恶意意图或危险请求。
- 内部自查:即使请求被巧妙地伪装成无害的形式,小型转换器(“激活探针”)仍会读取模型的内部神经信号,并经过训练以识别其正在调用关于网络攻击或生物威胁的知识。
- 持续监控:当模型进行推理并在多个步骤中生成响应时,我们会整合这些信号,并在必要时采取行动,例如如果响应出现问题,就在中途终止智能体运行。
实时保护、新式越狱问题的更快修复方案以及针对重复滥用行为的增强监控功能,使得我们的系统在防止实际伤害方面更加有效。例如,外部生物越狱测试仅能解锁我们测试的生物子任务中不到 1% 的内容。
实时对齐偏差监控
有时,不一致性可能意味着代理自行选择实现与用户意图不同的目标。由于 Argon 在理解其运行环境方面比早期模型更出色,我们仔细测试了这种行为。例如,我们进行了真实的“诱饵测试”,以观察模型是否会提升执行隐蔽操作的能力,比如破坏安全监控功能。但我们没有发现任何此类行为的实例。
但如今我们在实践中看到的是更常见的情况:一个努力过度以完成所分配任务的人工智能。当一个机智的助手被要求完成一项任务,却遇到一扇锁着的门时,它可以将这个障碍视为另一个需要解决的谜题。
这就是我们训练 Gemini 4 Argon 尊重系统边界、诚实报告负面结果,并暂停请求人类确认的原因。在模型没有保留机会的编码测试中,使用捷径或作弊的行为在 Gemini 4 Argon 上仅降至 2%,这仍是近期 Gemini 模型的最佳表现。
虽然这是一次重要的进步,但当模型执行数百万种复杂任务时,即使是非常罕见的错误也会最终出现。作为第二层防御机制,我们构建了一个自动化的对齐监测器,能够实时读取智能体的行为及其内部“便笺本”(逐步思考过程),在严重边界违规发生之前进行拦截,并将严重的内部问题标记出来供人类人员处理。(我们不断加强训练和评估环境的安全性,以防止潜在漏洞出现。您可以在我们的 智能体控制路线图中了解更多相关内容)。我们在产品、内部编码智能体以及训练过程中,还会在能力评估期间运行此监测器。
当训练任务困难或训练环境存在缺陷时,我们的监控工具偶尔会发现模型试图创造性地利用测试机制来规避约束。该模型试图提升容器的权限以修改评分脚本,从测试运行器的内存中读取答案,还有一次甚至导致评估沙箱崩溃,从而避免在失败的运行中被评分。 虽然我们使用这些捕捉器来修复有缺陷的任务,但我们不会用它们来干预训练过程,以避免模型过度拟合到监控器上。
我们始终遵循一条规则:在训练过程中,我们不会因模型在思考链中撰写的内容而对其进行惩罚. 这里有一个例子来说明原因:在强化学习训练过程中,如果意外地对思维链应用了捷径惩罚,公开讨论的捷径比例下降了61%,但这并不意味着模型使用的捷径数量减少了。相反,模型使用的捷径比例依然很高。 默默无闻地 — 在思考中未提及它们 — 增加了三倍以上(从11.2%增加到36.4%)。避免思想惩罚有助于使模型的推理过程保持透明且可监控。
提示注入抗性
为了信任智能体能够正确完成任务,我们必须确保智能体遇到的恶意内容不会使其采取有害行为。当智能体浏览网页或阅读代码时,可能会遇到隐藏的恶意指令或旨在劫持其任务的上下文。 通过内置的对抗性训练和实时安全检查,Argon在Gray Swan的间接提示注入(IPI)基准测试中在提示注入鲁棒性方面处于领先地位,将攻击成功率在15次自适应尝试中降至0.7%。
上述安全与安保防御措施仅属于我们全面纵深防御体系中的三个类别。若要了解有关我们安全测试及缓解措施方面的更多信息,请阅读我们的完整 Gemini 4 Argon 安全与安保报告,并查看 Gemini 4 Argon 模型卡。
