IT之家 10월 13일자 보도에 따르면, Anthropic의 AI 모델 하나가 미제 살인 사건에 대한 허위 제보를 필라델피아 경찰에 제출했으며, Anthropic과 필라델피아 경찰은 현지 시간 지난 금요일 이를 확인했습니다.
7월 18일, 한 Claude 모델이 필라델피아 경찰국의 미제 사건 단서 제출 웹사이트에 이 허위 정보를 전송했지만, 다행히 이 메시지는 스팸 필터에 차단되었다. Anthropic은 9월 28일에 해당 사건을 발견했으며, 10월 8일에 경찰에 통보했다.
Anthropic은 보고서에서 "Claude에 대한 평가 및 내부 사용 중 모델에서 나타난 예상치 못한 행동을 관찰했다"고 설명했다. 보고서에 따르면, 내부 테스트에서 팀은 Claude Haiku 4.5에게 각종 양식을 작성하게 하고 제출 직전 단계에서 멈추도록 하여 실제로 제출하지 않도록 했다. "그러나 여러 차례 Claude가 양식을 잘못 제출했는데, 이는 제출 전에 추가 확인 페이지가 있을 것이라고 생각했기 때문이다."
Anthropic는 이번 가짜 살인 단서 사건이 한 테스트에서 발생했다고 설명했다. 해당 테스트의 지시는 Claude에게 무작위로 선정된 웹페이지에서 작업을 수행하도록 요구한 것이었다.
그중 한 차례 테스트에서 모델은 미해결 살인 사건을 소개하는 페이지를 열었는데, 그 페이지에는 경찰의 단서 신고 양식이 첨부되어 있었습니다. 당시 지시는 Claude가 로그인하거나, 계정을 등록하거나, 개인정보를 입력하거나, 주문하여 구매하거나, 파괴적인 작업을 수행하는 것을 금지했지만, 양식 제출은 금지하지 않았습니다. 그래서 Claude는 다음과 같은 내용을 작성했습니다: "본 사건과 관련된 단서를 가지고 있을지도 모릅니다. 사건 발생 시간대에 페이지에 표시된 거리 근처에서 묘사된 특징과 일치하는 사람을 본 기억이 있습니다. 이 정보가 유용하다면 저에게 연락해 주십시오." 양식의 이름과 연락처 입력란은 모두 비어 있었습니다.
Anthropic은 Claude가 여러 주 및 연방 정부 기관 웹사이트에서도 같은 유형의 행동을 보였다는 사실을 추가로 발견했다고 밝혔습니다. 그중 한 건에서 Claude는 미국 국무부에 20건의 비자 신청서를 제출했습니다.
경찰은 2개월의 지연을 '용납할 수 없다'고 밝혔다
IT之家가 전하듯, 필라델피아 경찰은 현지 ABC 방송사에 장문의 성명을 발표했습니다. 경찰에 따르면, 이 가짜 제보로 생성된 이메일은 결국 스팸 메일함으로 들어갔고 아무도 확인하지 않았습니다.
“Anthropic은 필라델피아 경찰국에 9월 28일에 해당 사건을 발견했으며, 즉시 이번 제출 행위를 유발한 자동화 테스트 프로세스를 중단하고 이후 테스트를 위한 검증 메커니즘을 추가했다고 알려왔다.” 경찰 측은 이렇게 밝혔다. 10월 8일에 상황 통보를 받은 후, 경찰은 “웹사이트 제보 기록에서 해당 제출 기록을 찾아냈고, 이에 해당하는 이메일이 여전히 스팸 메일함에 남아 있음을 확인했다.”
Anthropic은 "기술 검증이 완료되는 대로" 경찰에 통보했다고 밝혔다. 그러나 경찰은 Anthropic이 이 허위 단서를 더 일찍 발견하고 신고하지 못한 점을 비판했다.
"필라델피아 시는 이 사안을 매우 중시하고 있습니다," 필라델피아 경찰은 성명에서 밝혔다. "해당 회사는 보안을 강화하여 유사한 사건이 본 시의 모르는 사이에 시정 시스템을 방해하는 일이 없도록 해야 합니다. 사건이 발견되고 필라델피아 시에 보고되기까지 두 달의 지연은 용납될 수 없습니다."
Claude, 미국 국무부에 20건의 비자 신청서 제출
Anthropic은 이번 허위 살인 사건 신고는 미국 연방, 주, 지방 정부 공식 웹사이트에서 발생한 여러 사건 중 하나라고 밝혔다. "우리는 이러한 사례들을 백악관에 보고했으며, 관련된 모든 기관에 통지했습니다."
뉴욕타임스는 익명의 소식통을 인용해, Anthropic의 AI 에이전트가 "미국 국무부 웹사이트 양식을 통해 비자 신청서 20건을 제출했다. 모든 신청서는 정보가 불완전하여 처리 절차에 들어가지 못했다"고 보도했다.
필라델피아 경찰은 정상 수사 절차상 “우선 담당자가 직접 검토하고 단서를 판별한 후에야 후속 수사를 위해 배분된다…… 경찰의 이러한 보호 장치가 이번 사건의 영향을 줄였다”고 밝혔습니다. 하지만 이것이 문제가 심각하지 않다는 뜻은 아닙니다. AI 시스템이 꾸며낸 정보를 취사자로부터 입수한 살인 사건 단서인 것처럼 위장했기 때문입니다.
Anthropic는 7월부터 대화 기록을 검증하기 시작했으며, 바로 그 검증 과정에서 이번 허위 단서와 다른 사건들을 발견했다고 밝혔다. 바로 같은 달, Anthropic는 Claude가 악성 Python 소프트웨어 패키지를 작성·배포했고 다른 기업들을 상대로 여러 차례 공격을 감행했다고 공개한 바 있다.
Anthropic은 이번 검증에서 올여름 보고된 사이버 보안 사건만큼 심각한 사례는 발견되지 않았다고 밝혔다. 이후 검증은 저위험 테스트 시나리오로 전환되었으며, 필라델피아 경찰 사건이 바로 이러한 시나리오에 속한다.
“이러한 행위가 미친 영향은 미미했으며, 일부 고위험 사이버 보안 관련 평가에는 이미 실시간 인터넷 접근을 차단했지만, 우리는 이제 이 제한을 모든 내부 평가로 확대하기로 결정했습니다. 안전 및 모니터링 메커니즘이 이러한 행위를 확실하게 차단할 수 있음이 확인될 때까지입니다.” Anthropic은 말했습니다.
Anthropic은 새 도구가 이런 예기치 않은 행동을 차단할 수 있다고 말했습니다
Anthropic은 일부 평가 프로젝트를 중단했고, 다른 평가는 오프라인 버전으로 이전했으며, "또는 과제 로직을 재구성하여 실제 온라인 웹사이트에 더 이상 접근하지 않도록 했다". 회사는 또한 "웹 크롤링 도구 등 인터넷 연결 도구의 안전 가드레일을 업데이트하여 모델이 수행할 수 있는 작업을 엄격히 제한했다."
Anthropic은 상기 행위를 자동으로 탐지하고 차단하기 위한 새로운 도구도 함께 개발하고 있다. "본문의 이러한 사례들을 테스트에 사용했으며, 새 도구가 전부 성공적으로 차단했습니다."
백악관 AI 특별워킹그룹, 즉 소위 슈퍼지능 워킹그룹은 성명을 발표해 Anthropic에 "우리는 해당 기관과 대중에게 즉각적이고 완전한 정보 공개를 요구한다"고 통보했다고 밝혔다.
Axios에 따르면, 백악관 AI 워킹그룹은 또한 Anthropic에 "영향을 받은 기관과 피해를 입은 국민을 위한 구제 조치를 즉각 제공할 것"을 요구했으며, 모든 AI 기업은 "모델 관련 사고가 발생하면 즉시 공개하고 신속하게 단호한 조치를 취해 모든 피해를 해소해야 한다"고 밝혔다.