Anthropic는 다음 기관의 6명 연구자에게 임직원 수준의 접근 권한을 제공하고 있습니다: METR최신 AI 모델을 테스트하는 비영리단체인 , to independently assess Anthropic’s models, safety practices, and risk management, the company said in a 블로그 게시물 목요일에.
이번 협약은 AI 에이전트가 지시를 벗어나 행동하는 사례가 있어 온 시점에 이루어졌다. 공개했습니다 모든 주간 또는 둘 8월 말 이후. 이 사건들은 AI 기업에 대한 독립적인 점검을 요구하는 목소리를 더욱 크게 만들었습니다.
"우리는 내리는 결정에 대해 공개적으로 책임지고자 합니다"라고 Anthropic은 블로그 게시물에서 말했다. "우리는 평가자들이 최첨단 AI 기업의 시스템에 대해 이해하는 것과 기업 자체가 이해하는 것 사이의 격차를 해소하는 것을 목표로 합니다."
새로운 협정에 따라, METR 팀은 Anthropic이 지급한 회사 노트북, 사무 공간, 그리고 Anthropic의 자체 위험 평가 팀들이 사용하는 것과 거의 맞먹는 내부 도구 접근 권한을 갖게 되었습니다. "Anthropic 직원들은 안전성 정렬 위험을 다루는 동료 직원과 협업할 때와 마찬가지로 이들과 정보를 공유하도록 권장됩니다"라고 회사 측은 말했습니다.
Anthropic은 이러한 조치를 은행 업무에 비유 ChevronRightRegulator}가 가장 큰 은행 내부에 상주 검사관을 배치하는 방식과 유사하다고 설명했다.
METR은 Anthropic의 위험, 사고 및 관행에 대한 자체 평가를 발표할 것이며, 이 회사는 이를 차단할 권리를 포기했습니다.
“Anthropic은 게시를 거부할 수는 없지만, 좁게 사전 정의된 범주에 해당하는 경우 정보를 삭제하도록 요구할 수 있습니다,” 회사는 말했다. 이러한 범주에는 고객 데이터, 변호사-의뢰인 특권에 해당하는 사항, 또는 모델 아키텍처 관련 정보가 포함된다. “METR은 우리의 삭제 조치에 대해 공개적으로 평가하고, 그 삭제가 정당했는지 여부를 말할 수 있으며, 단 삭제된 정보를 공개하지 않는 조건에서 가능합니다”라고 Anthropic은 덧붙였다.
METR은 Anthropic이 구축 중인 3단계 체계의 최상위 단계에 있는 유일한 평가 기관입니다. 최하위 단계의 평가 기관, 예를 들어 생물보안 비영리단체 SecureBio는 범위가 좁은 검토를 수행하며 발행 시 Anthropic의 승인을 받아야 합니다. 중간 단계는 더 많은 정보를 제공받고 승인 없이 발행할 수 있으며, 최상위 단계는 METR의 직원 수준 접근 권한까지 추가됩니다.
목요일의 발표는 Anthropic CEO Dario Amodei가 했던 약속을 이행한 것입니다. 9월 칼럼에서, 그는 AI 개발 속도를 늦추기 위한 첫걸음으로 외부 평가자를 AI 연구소 내부에 배치하는 방안을 제안했다. OpenAI는 곧 같은 약속을 했고두 회사는 Google, Meta, Nvidia, xAI와 함께 독립적 검토를 약속하는 백악관 협약에 이후 서명했다.