独立评估机构的最新进展

独立评估机构的最新进展

上个月，我们承诺对我们的模型和安全实践进行 更强有力的独立第三方评估 。我们还签署了白宫《超级智能协议》，其中各公司承诺与独立的外部审计师或评估机构合作。今天，我们宣布已开始向来自 METR 的团队提供类似员工的访问权限，METR 是一家评估前沿 AI 模型的非营利组织。 METR 将公布其风险评估的结果。在过去一年里，我们与 METR 合作进行了对我们风险报告的多次审查

METR将公布其风险评估的结果。在过去一年中，我们与METR合作， SecureBio和 Accenture 作为评估机构合作，并正在与包括 Hugging Face 在内的多家其他组织进行早期讨论。 在这里，我们说明与评估机构合作的方式。.

我们为何与独立评估机构合作

随着模型变得更加强大，它们需要更强的保障措施和更具挑战性的风险评估。我们希望公开为我们所做的决策负责。但我们无法公开分享与安全工作相关的所有信息。其中一些信息可能对恶意行为者有用，或者是商业敏感信息，例如计算或训练信息。因此，我们正在向第三方评估机构提供对我们信息的深度访问，并让他们分享关于构建我们模型所涉风险的证据和有理有据的结论。我们旨在缩小评估机构对前沿 AI 公司系统的了解与公司自身了解之间的差距。

随着模型变得更加强大，它们需要更强的安全保障和更具挑战性的风险评估。我们希望为所做的决策承担公开的责任。但我们无法公开分享与安全工作相关的所有信息。其中一些信息可能对恶意行为者有用，或者属于商业敏感信息，例如算力或训练信息。作为替代，我们让第三方评估机构深度访问我们的信息，并让他们分享有关构建我们的模型所涉及风险的证据和有理有据的结论。我们的目标是缩小评估机构对前沿AI公司系统的了解与公司自身了解之间的差距。

评估前沿模型能力的

• 专业知识 评估前沿模型的能力，包括理解评估可能出错的方式，例如 对齐伪装.
• 独立性：他们不应持有被评估公司的股权，也不应在财务或运营上依赖该公司。
• 足够的 访问权限 ，以便有意义地评估风险。除了访问最新模型之外，评估机构还需要了解这些模型是如何训练的、我们的保障措施如何运作等等。
• 自由发表的权利 观察与评估 某个模型或某个流程。

尽管这个类比并不完全精确，但银行监管遵循类似的逻辑。银行比外部人士更了解自身的风险状况，因此监管机构向最大的银行派驻常驻审查员。如果一家银行的冒险行为可能威胁公众，第三方会努力提前发现这一点。

对于AI行业而言，这是朝着 健全的安全监督迈出的一步。我们正在快速推进，拥有多个评估方，并积极学习哪种合作方式行之有效。我们承诺随时分享进展更新。

我们所说的“类员工访问权限”是什么意思

我们已经为六名METR员工配置了公司硬件、办公空间，以及对内部工具和系统的访问权限，大致相当于我们自己的风险评估团队所拥有的权限。除了少数明确界定的类别（例如：客户数据、律师-客户特权信息，或关于我们模型架构的信息）之外，我们鼓励Anthropic员工与他们分享信息，就像对待从事对齐风险工作的同事一样。¹

METR将发布其对我们的风险水平、事件或实践的分析。Anthropic不能否决其发布，但如果信息属于上述等预定义类别，我们可以要求其隐去相关信息。METR可以公开描述我们的隐去行为，并说明它是否认为这些隐去是合理的，只要不泄露被隐去的信息即可。

我们与METR的合作仅限于一个在可执行协议下运作的小团队。其他METR员工与该团队的工作相互隔离，包括在其他项目上与我们合作的研究人员。嵌入式评估让少数在Anthropic安全标准下工作的合格人员能够近距离了解我们的运作方式。这不是其他组织获取我们信息、或我们的客户和合作伙伴信息的途径。

我们与其他评估方的合作

我们正在推进其他几项合作。由于这些合作仍处于早期阶段，我们向这些评估方提供的信息较为有限，他们的发布权利也更为有限。我们进行这些早期合作的目标是确保我们的合作伙伴保护机密信息，并拥有评估我们模型所需的资源和专业知识。随着合作的推进和信任的建立，我们希望能更全面地嵌入更多独立评估方。

我们正在为评估人员开发三个层级的访问权限。随着时间的推移，我们希望有数家评估人员达到第三层级，每个团队都发布他们对我们风险态势和关键决策的独立分析。

在第一层级， 评估人员开展范围狭窄的风险调查。我们决定向第一层级评估人员提供何种访问权限，评估人员经我们批准后可以发布其发现。

在第二层级， 评估人员无需我们批准即可发布内容，并且可以访问更多信息。我们仍然可以要求删除特定类别的信息，不过评估人员可以发布他们对我们的删减是否合理的看法。

第三层级 是我们与METR所描述的安排，拥有类似员工的访问权限以及与第二层级类似的发布权利。

SecureBio 正在审查我们的 八月风险报告中关于化学和生物武器的章节，此前已完成并 发布了对我们上一份风险报告的试点审查 。在该审查完成后，我们将考虑转向访问权限更高的项目。²

我们正与Accenture 和Faculty合作， 朝着一项雄心勃勃的合作伙伴关系迈进 ，其中包括评估和红队测试模型、开展对齐评估、测试模型保障措施，以及在双方组织内部建设能力。

我们是自愿引入评估人员的，并且我们相信每家前沿AI公司都应这样做。

脚注

1. 由于这些评估人员（如银行审查员）可能也在与其他公司合作，我们对意外泄露的可能性保持谨慎。有关架构的信息存在很高的意外泄露风险，而其与风险评估的相关性通常较低。当其高度相关时，我们通常会寻求分享，但这需要明确的内部批准。
2. 于10月15日更新，以澄清SecureBio目前与Anthropic的项目条款。

相关内容

为2026年美国中期选举做准备

今年早些时候，我们分享了有关选举保障措施的更新。在此，我们概述了在今年美国中期选举之前我们如何继续加强这些保障措施。

Anthropic开设新加坡办公室并与新加坡政府签署谅解备忘录

Anthropic已在新加坡开设办公室，并与该国政府签署谅解备忘录，以推动安全、负责任的AI应用。

2026年使用政策更新

我们正在发布新版本的使用政策。在这篇文章中，我们总结了所做的更改。