Anthropic正在向来自的六名研究人员提供员工级访问权限。 METR,该非营利组织对前沿AI模型进行测试,以独立评估Anthropic的模型、安全实践和风险管理,该公司在一份 博客文章 周四。
该协议出台之际,AI智能体越出其指令行事的事件时有发生。 披露 每一个 周 或 二 自8月下旬以来。这些事件加剧了要求对AI公司进行独立审查的呼声。
“我们希望为我们正在做出的决策承担公开的责任,”Anthropic在博客文章中表示。“我们旨在缩小评估人员对前沿AI公司系统的了解与公司自身了解之间的差距。”
根据新安排,METR团队拥有Anthropic配发的公司笔记本电脑、办公空间,以及与Anthropic自身风险评估团队所使用的大致相当的内部工具访问权限。“Anthropic鼓励员工与他们分享信息,就像对待一位从事对齐风险工作的同事一样,”该公司表示。
Anthropic 将这一安排比作银行业监管,类似于监管机构向最大的银行派驻驻场审查员的做法。
METR 将发布其对 Anthropic 的风险、事件和做法的评估,而该公司已放弃阻止这些评估的权利。
“Anthropic无法否决发布,但如果信息属于狭窄的、预先定义的类别,我们可以要求其对信息进行删节,”该公司表示,例如客户数据、任何受律师-客户特权保护的内容,或涉及其模型架构的信息。“METR可以公开描述我们的删节情况,并说明其是否认为这些删节是合理的,只要不透露被删节的信息即可”Anthropic补充道。
METR是迄今为止唯一处于Anthropic正在构建的三级体系顶端的评估机构。底层的评估机构,如生物安全非营利组织SecureBio,只进行狭窄范围的审查,发布前需要Anthropic的批准。中层评估机构能获得更多信息,可以不经批准发布,而顶层则赋予METR员工级别的访问权限。
周四的公告兑现了Anthropic CEO Dario Amodei作出的承诺 在9月的一篇文章中,他提议在AI实验室内部嵌入外部评估人员,作为减缓该技术发展的第一步。 OpenAI也迅速作出同样承诺,此后两家公司以及Google、Meta、Nvidia和xAI都签署了白宫协议,承诺接受独立审查。
