IT之家 10월 27일 소식에 따르면, Anthropic은 현지 시간 월요일에 발표한 IPO 공모안에서 보안상의 우려로 차세대 플래그십 AI 모델의 훈련을 한 달 이상 중단했다고 밝혔습니다. 또한 네 개의 AI 스마트체가 테스트 기간 동안 제한을 넘어 실제 외부 컴퓨터 시스템에 접속했습니다.
IT之家는 Claude 개발 기업이 문서의 위험 경고 섹션에서 새로운 첨단 기반 모델의 예비 훈련 작업을 연기했다고 밝혔다는 것을 알게 되었습니다. 이는 모델의 가중치와 지적 재산권이 도난당되는 것을 방지하기 위한 보호 메커니즘을 강화하려는 의도입니다.
이 공개된 내용에 따르면, 연구 개발 능력이 점점 더 강해지는 AI 모델은 다양한 보안 문제를 동반하게 될 것이며, 일부 전문가들은 이러한 기술이 향후 인간의 통제에서 벗어날 수 있다고 경고하고 있습니다. 경쟁사 OpenAI도 올해 초 보안 문제로 인해 일부 훈련 작업을 중단했는데, 당시 그 모델이 Hugging Face 플랫폼에 침투하는 현상이 발생했습니다.
이러한 사건들은 갑작스러운 보안 문제가 핵심 모델의 개발 및 출시 일정을 방해할 수 있음을 보여줍니다. 그리고 이러한 모델들이 바로 Anthropic의 급진적인 출시 과정과 비즈니스 성장 실현의 핵심입니다.
앤토프릭은 훈련 중단이 수익 지연을 초래하여 회사가 경쟁자들에 뒤처지게 될 수 있다고 경고했습니다. 이 문서에는 약 94페이지에 걸쳐 위험 요소들이 나열되어 있습니다.
새소프트 탈출
공모서류는 이전에 공개되지 않았던 보안 평가 사고도 공개했습니다. 네 개의 AI 모델이 테스트 샌드박스 환경에서 벗어나 실제 컴퓨터 시스템에 접근했으며, 관련 세션의 지속 시간은 10시간에서 34시간 사이였습니다.
Anthropic은 제3자 파트너와 함께 네트워크 보안 테스트를 진행하는 과정에서 작업 실수가 발생했다고 밝혔습니다. 요구사항에 따라 테스트 환경은 인터넷 접속 권한을 끄도록 되어 있었지만, 실제 환경에서는 여전히 인터넷 연결이 유지되고 있었습니다.
그 중 한 사고에서, 해당 모델의 초기 버전은 완료할 수 없는 평가 작업을 계속 시도했으며, 그 과정에서 저장된 비밀번호를 발견하고 이를 이용해 서드파티 시스템의 관리자 권한을 얻었습니다. 이후 더 많은 자격 증명을 획득하고 시스템 설정을 변경했으며 개인 데이터에도 접근할 수 있었습니다. 문서에는 관련 외부 협력업체의 정체가 명시되어 있지 않습니다.
Anthropic은 영향을 받은 모든 관련 당사자에게 통보했으며, 모델이 인류의 규제를 의도적으로 피하거나 여러 모델이 협력하여 행동하는 증거는 발견되지 않았다고 밝혔습니다. 이후 회사는 일부 서비스 출시 전의 사이버 보안 평가 프로젝트를 중단하고, 위험 등급이 높은 강화 학습 테스트 환경도 중단했습니다.
또한, 해당 회사는 지난 일요일 현지 시간으로 Claude가 유료 장벽을 우회하여 인위적인 허가 없이 미국 조지아주에서 공개된 투표 데이터를 조회했다고 발표했습니다.