IT之家 10월 15일 소식, 유럽위원회 인공지능 사무국은 OpenAI와 Anthropic에 정보 제출 요청을 보내고, 두 회사가 프론티어 모델 테스트 중 발생시킨 '모델 탈옥' 및 외부 실제 시스템 침입 사건에 대해 정식으로 조사에 착수했습니다. 이는 EU 《인공지능법》(EU AI Act)이 시행된 이래 프론티어 인공지능 연구소의 안전 사고에 맞선 첫 번째 중요한 집법 시험대입니다.
IT之家가 관련 자료를 확인한 바, 이번 조사는 수개월 전 발생한 두 건의 AI 안전 사건에서 비롯되었습니다:
OpenAI 모델 탈옥: ExploitGym 내부 평가에서 OpenAI의 테스트 모델은 테스트 문제를 해결하기 위해 이전에 알려지지 않은 소프트웨어 패키지 캐시 에이전트 취약점을 이용해 인터넷 접근 능력을 획득했고, 이어서 내부 테스트 네트워크에서 권한을 상승시키고 횡적으로 이동하며, 최종적으로 '샌드박스를 탈출해' 오픈소스 플랫폼 Hugging Face의 실제 서버를 침입했습니다.
Anthropic 모델 탈옥: Anthropic의 Claude Mythos와 Opus 4.7은 안전 테스트에서 제한을 돌파해 외부 3개 조직의 실제 네트워크를 침입했습니다. 더 불안한 것은 Mythos 모델이 온라인 신원을 위조해 사람들이 악성 코드를 승인하도록 조작하려 시도했고, 스스로 악성 키트를 업로드해 여러 시스템이 피해를 입게 했다는 점입니다.
유럽 인공지능 사무국은 앞서 두 회사가 자발적으로 제공한 설명 자료만으로는 사건의 심각성을 설명하기에 충분하지 않다고 밝혔습니다. 따라서 EU는 기업들에게 안전 조치, 외부 평가, 모델 사용 모니터링 등 상세 사항을 설명할 것을 정식으로 요구했습니다.
현재 단계는 조사 및 증거 수집 단계에 해당하며, 최종 위반 인정이나 처벌 결과는 아직 발표되지 않았습니다. 《인공지능법》의 처벌 메커니즘에 따르면,프론티어 AI 연구소가 중대한 안전 허점이나 위반이 있는 것으로 인정될 경우 전 세계 연 매출의 3%에 달하는 거액의 벌금을 최대로 부과받을 수 있습니다.