IT之家 10월 19일 소식에 따르면, Anthropic은 외부 평가자들에게 “직원과 같은 수준의 접근 권한”을 제공하여 자사 모델이 발생할 수 있는 위험을 평가하도록 했습니다. 이는 기술이 재앙적인 통제 불능 상태에 빠질 수 있다는 우려에 대응하기 위한 것으로, 보안 보호를 강화하는 조치입니다.
비영리 기관 METR는 OpenAI, Anthropic, 구글 및 Meta와 같은 선도적인 연구소와 협력해왔습니다. 현재 이 기관의 팀들은 Claude 개발 기업의 사무실에 입주하여 해당 기업의 하드웨어 장비와 내부 시스템을 이용할 수 있습니다.
더 강력한 인공지능 시스템이 경제, 네트워크 보안 및 전 인류에 가져올 위험에 대한 우려가 점점 증가함에 따라, 제3자 평가 담당자의 권한과 책임 범위를 확대하는 것은 각 연구소가 제시하는 주요 실질적인 조치 중 하나입니다.
안트로픽의 최고경영자 다리오 아모데이(Dario Amodei)는 9월에 드문 전략적 합의를 이루었습니다. 그의 두 강력한 경쟁자인 샘 알트만(Sam Altman)과 엘론 머스크(Elon Musk) 모두 외부 감사관을 최고 인공지능 연구소에 배치하는 그의 제안을 지지했습니다.
지방 시간으로 지난 주 목요일에 발표된 이 공지는 위에서 언급한 약속을 실현하는 첫 단계입니다. 오르튜만은 아모디의 제안이 좋다고 말했지만, OpenAI는 평가자를 도입하는 관련 계획을 아직 발표하지 않았습니다.
Anthropic은 목요일에 “모델의 능력이 점점 향상됨에 따라 더 강력한 보안 보호와 더 엄격한 위험 평가가 필요하다. 우리는 자신들이 내린 결정이 대중의 감독을 받기를 원하지만, 모든 안전 연구 관련 정보를 공개할 수는 없다.”라고 말했다.
Anthropic의 이 평가 메커니즘에 대해 비평자들은 관련 조치가 이해상충을 초래할 수 있다고 주장하며, 감사 업계의 문제를 근거로 삼아 더 강력한 정부 규제가 필요하다고 지적했다.
Anthropic은 공개된 관련 정보가 악의적인 사용자나 경쟁자에 의해 이용될 수 있다고 주장했습니다. 이 회사는 평가 담당자의 운영 방식이 은행 규제와 유사하다고 덧붙였으며, 규제 기관은 대형 은행 내부에 상주하는 검토 인력을 배치한다고 말했습니다.
그 회사는 “만약 한 은행이 위험을 감수하는 행동이 공공의 이익을 위협한다면, 제3자는 이러한 위험 요소를 미리 발견하려고 노력할 것”이라고 말했습니다.
Anthropic은 동시에 압박을 받고 있으며, 투자자들에게 안전 관련 문제가 올해 예정된 첫 번째 공개 입찰에 영향을 미치지 않을 것임을 보장해야 합니다. 이 IPO의 평가액은 2조 달러 이상이 될 것으로 예상됩니다 (IT之家 주: 현재 환율로 약 13.39조 위안에 해당). 이번 주, 이 회사는 투자자 설명 자료에서 자체 보안 조치에 대해 상당한 부분을 다루었습니다.
이전에 Hugging Face는 통제 불능한 OpenAI 모델이 일으킨 공격 사건에 직면했으며, METR은 조사에 참여한 기관 중 하나였습니다. 당시 해당 기관은 수천 건의 로그를 검토했고 기업에서 제공한 노트북을 사용하기도 했습니다.
Anthropic은 현재 6명의 METR 직원을 채용했으며, 그들에게 회사의 하드웨어와 사무실 공간을 제공하고, “회사의 위험 평가 팀이 가질 수 있는 권한과 유사한 내부 도구 및 시스템에 대한 접근 권한”을 부여했습니다.
이 연구소는 직원들에게 위험 부서 동료처럼 평가자와 정보를 공유하도록 장려한다고 밝혔습니다.
Anthropic은 이 협력에 대해 METR에 비용을 지불하지 않을 것입니다. 이 연구기관은 인공지능 기업 및 그 직원들의 기부를 받지 않으며, 자금은 개인, 자선 단체, 그리고 영국 인공지능 안전 연구소와 같은 정부 기관의 지원으로 조달됩니다.
평가 담당자들은 분석 보고서를 발표할 것이며, Anthropic은 발표 행위를 거부할 권한이 없습니다. 그러나 회사는 평가 담당자에게 고객 데이터, 변호사 고객의 기밀 유지 특권으로 보호되는 내용, 또는 모델 구조 관련 정보와 같은 특정 유형의 정보을 삭제하도록 요청할 수 있습니다.
안트로픽은 여전히 Accenture와 협력하고 있습니다. 지난달 Accenture는 보안 테스트 파트너로 선정되었으며, 양사는 각각 최소 10억 달러(현 환율 기준 약 66.93억 위안)를 투자하여 새로운 보안 보호 체계를 구축하기로 약속했습니다.
또 다른 제3자 테스트 기관은 SecureBio이며, 이 회사의 화학 및 생물 무기 관련 위험을 검토하는 책임을 맡고 있습니다.
Anthropic은 “우리는 평가 인력을 파견하여 모니터링을 진행하며, 모든 첨단 인공지능 기업들이 이를 본받아야 한다고 생각합니다.”라고 말했습니다. METR는 “우리는 모든 첨단 인공지능 연구 개발 기업과 협력할 준비가 되어 있으며, 대중에게 더 신뢰할 수 있는 증거를 제공할 것입니다.”라고 밝혔습니다.