독립 평가자에 관한 최신 소식
2026년 10월 15일
지난달 우리는 다음을 약속했습니다 더 강력한 독립적 제3자 평가 우리의 모델과 안전 관행에 관한 내용입니다. 또한 기업들이 독립적인 외부 감사인 또는 평가 기관과 협력할 것을 약속한 백악관 초지능 협약(White House Accord on Super Intelligence)에 서명했습니다. 오늘 우리는 다음 팀에게 직원 수준의 접근 권한을 제공하기 시작했다고 발표합니다. METR,"라고 프런티어 AI 모델을 평가하는 비영리 단체가 말했습니다.
METR은 자체 위험 평가 결과를 공개할 예정입니다. 지난 1년 동안 우리는 METR과 함께 다음 작업을 진행해 왔습니다. 저희 리스크 보고서에 대한 여러 리뷰. 또한 우리는 다음과 함께 작업하고 있습니다 SecureBio 그리고 액센처 평가자로 참여하며, 다음을 포함한 여러 다른 기구들과 초기 논의를 진행 중입니다: Hugging Face.
여기서는 평가자와 협력하는 저희의 접근 방식을 설명합니다.
왜 독립적인 평가자와 협력하는가
모델이 더 강력해짐에 따라 더 강한 안전장치와 더 어려운 위험 평가가 필요해졌습니다. 우리는 내리는 결정에 대해 공개적으로 책임지고자 합니다. 하지만 안전 작업과 관련된 모든 정보를 공개적으로 공유할 수는 없습니다. 일부 정보는 악의적인 행위자에게 유용할 수 있고, 컴퓨팅이나 훈련 정보처럼 상업적으로 민감한 내용일 수 있기 때문입니다. 대신 우리는 제3자 평가자에게 우리 정보에 대한 깊은 접근 권한을 부여하고, 모델 구축에 따른 위험에 대한 증거와 근거 있는 결론을 공유하도록 하고 있습니다. 우리는 프런티어 AI 기업의 시스템에 대해 평가자가 이해하는 것과 기업 자신이 이해하는 것 사이의 격차를 해소하는 것을 목표로 합니다.
프런티어 모델을 평가하려면 평가자에게 다음이 필요합니다:
- 전문성 프런티어 모델의 역량을 평가하는 데 있어, 다음과 같이 평가가 잘못될 수 있는 방식을 이해하는 것을 포함한 정렬 위장(alignment faking).
- 독립성: 평가 대상 회사의 지분을 보유하거나 재정적·운영적으로 그 회사에 의존해서는 안 됩니다.
- 위험을 의미 있게 평가하기에 충분한 접근 권한 . 최신 모델에 대한 접근 외에도, 평가자는 해당 모델이 어떻게 훈련되었는지, 우리의 안전장치가 어떻게 작동하는지 등을 파악할 수 있어야 합니다.
- 공개의 자유 관찰과 평가 모델이나 프로세스에 대한.
이 비유가 정확한 것은 아니지만, 은행 감독도 유사한 논리로 운영됩니다. 은행은 외부인보다 자신의 리스크 포지션에 대해 더 많이 알고 있기 때문에 규제 당국은 상주 검사관을 가장 큰 은행 안에 배치합니다. 은행의 리스크 테이킹이 공공에 위협이 될 수 있다면, 제3자가 이를 사전에 파악하려고 노력합니다.
AI 산업에게 이것은 강건한 안전 감독을 향한 한 걸음입니다. 우리는 여러 평가자와 함께 신속하게 움직이고 있으며, 어떤 종류의 파트너십이 효과적인지 적극적으로 배우고 있습니다. 진행 상황에 대한 업데이트를 공유하기 위해 최선을 다하겠습니다.
“직원에 준하는 접근 권한”의 의미
우리는 METR 직원 6명에게 회사 하드웨어, 사무 공간, 그리고 자체 리스크 평가 팀이 접근할 수 있는 것과 거의 맞먹는 내부 도구 및 시스템에 대한 접근 권한을 제공했습니다. 명확히 정의된 소수의 카테고리(예: 고객에 대한 데이터, 변호사-의뢰인 특권 정보, 또는 우리 모델 아키텍처에 대한 정보)를 제외하고, Anthropic 직원들은 정렬(alignment) 리스크를 다루는 동료 직원과 공유하듯이 그들과 정보를 공유하도록 권장됩니다.1
METR는 우리의 리스크 수준, 사고 또는 관행에 대한 분석을 공개할 것입니다. Anthropic은 공개를 거부할 수 없지만, 위와 같은 사전 정의된 카테고리에 해당하는 정보의 경우 삭제를 요구할 수 있습니다. METR는 삭제된 정보를 공개하지 않는 한, 우리의 삭제 조치에 대해 공개적으로 논평하고 그 삭제가 정당했다고 생각하는지 여부를 말할 자유가 있습니다.
METR과의 우리의 협력은 집행 가능한 계약 하에 운영되는 소규모 팀에 국한됩니다. 다른 METR 직원들은 우리와 다른 프로젝트를 함께 하는 연구자들을 포함하여 그 팀의 업무로부터 분리되어 있습니다. 내재화된 평가는 Anthropic의 보안 기준 하에서 일하는 소수의 자격을 갖춘 사람들에게 우리가 어떻게 운영되는지에 대한 가까운 시각을 제공합니다. 이는 다른 조직이 우리의 정보나 고객 및 파트너의 정보를 얻는 방법이 아닙니다.
우리의 다른 평가자 파트너십
우리는 여러 다른 파트너십을 진행하고 있습니다. 이러한 다른 파트너십은 아직 초기 단계에 있기 때문에, 우리는 이 평가자들에게 더 제한적인 정보를 제공하고 있으며, 그들의 공개 권한도 더 제한적입니다. 이러한 초기 협력의 목표는 파트너들이 기밀 정보를 보호하고 우리 모델을 평가할 수 있는 필수적인 자원과 전문성을 갖추고 있는지 확인하는 것입니다. 파트너십이 진전되고 신뢰가 쌓이면, 더 많은 독립적인 평가자를 완전히 내재화하기를 희망합니다.
평가 기관을 위해 세 단계의 접근 등급을 개발하고 있습니다. 시간이 지나면 세 번째 등급에 여러 평가 기관이 참여하여 각 팀이 우리의 위험 상황과 주요 결정에 대한 자체 분석을 발표하기를 희망합니다.
첫 번째 등급에서는 평가 기관이 범위가 좁은 위험 조사를 수행합니다. 첫 번째 등급 평가 기관에게 제공할 접근 권한은 우리가 결정하며, 평가 기관은 우리의 승인을 받아 조사 결과를 발표할 수 있습니다.
두 번째 등급에서는 평가 기관이 우리의 승인 없이 발표할 수 있으며, 더 많은 정보에 접근할 수 있습니다. 다만 우리는 여전히 특정 범주의 정보 삭제를 요구할 수 있고, 평가 기관은 우리의 삭제 조치가 정당했는지에 대한 자신들의 견해를 발표할 수 있습니다.
세 번째 등급은 우리가 METR과 맺은 협의로, 직원에 준하는 접근 권한과 두 번째 등급과 유사한 발표 권한을 갖습니다.
SecureBio는 이전 위험 보고서에 대한 시범 검토를 완료하여 발표한 후현재 우리의 8월 위험 보고서 의 화학 및 생물 무기 장을 검토하는 과정에 있습니다. 이 검토가 완료되면 더 높은 접근 권한을 가진 프로젝트로 이동할지 고려할 것입니다.2
Accenture 및 Faculty와 함께 모델 평가 및 레드팀 활동, 정렬(alignment) 평가 수행, 모델 안전장치 테스트, 그리고 양측 조직의 역량 구축을 포함하는 야심찬 파트너십을 향해 여기에는 모델 평가 및 레드팀링, 정렬성 평가 수행, 모델 안전장치 테스트, 그리고 우리 조직들 전반에 걸친 역량 구축이 포함됩니다.
우리는 자발적으로 평가 기관을 받아들이고 있으며, 모든 프론티어 AI 기업이 동일하게 해야 한다고 믿습니다.
각주
- 이러한 평가 기관들(은행 검사관과 마찬가지로)은 다른 회사와도 협력할 수 있기 때문에, 우리는 무의식적인 정보 유출 가능성에 대해 신중을 기합니다. 아키텍처 관련 정보는 무의식적인 유출 위험이 높고 위험 평가와의 관련성은 일반적으로 낮습니다. 매우 관련성이 높은 경우에는 일반적으로 해당 정보를 공유하기 위해 노력하겠지만, 이는 명시적인 내부 승인이 필요할 것입니다.
- SecureBio의 Anthropic과의 현재 프로젝트 조건을 명확히 하기 위해 10월 15일에 업데이트되었습니다.
관련 콘텐츠
2026년 미국 중간선거 대비
올해 초, 우리는 선거 안전장치에 대한 업데이트를 공유했습니다. 여기에서는 올해 미국 중간선거를 앞두고 이러한 안전장치를 어떻게 지속적으로 강화해 왔는지 설명합니다.
더 읽기Anthropic, 싱가포르 사무소 개설 및 싱가포르 정부와 MOU 체결
Anthropic이 싱가포르에 사무소를 개설하고 해당 국가 정부와 안전하고 책임 있는 AI 도입을 촉진하기 위한 MOU를 체결했습니다.
더 읽기2026년 사용 정책 업데이트
우리는 새 버전의 사용 정책을 발행하고 있습니다. 이 글에서 우리가 변경한 사항을 요약합니다.
더 읽기