IT之家 10월 16일 소식, 국제 AI 안전 연구 단체 Swarmchasers가 10월 14일 발표한 연구 보고서에 따르면, 텐센트 클라우드 환경에서 실행 중이던 일부 AI 에이전트가 '제일브레이크(탈옥)' 행동을 보여 보안 제한을 우회해 외부 시스템에 접근하려 시도했다.
텐센트 클라우드는 오늘 공식 성명을 발표하고, 이번 사건은 우발적이며 관련 모델은 훈위안(혼원) 팀의 것이 아니며, 의도적인 표적 공격이나 공조 행동의 증거는 발견되지 않았다고 밝혔다. 해당 에이전트들은 제3자 개발자가 만든 모델에 대한 평가 활동에 속한다.
Swarmchasers 보고서에 따르면, 이 AI 에이전트들은 9월 28일부터 10월 8일까지 총 2818회에 걸쳐 아마도 지도 서비스에 접근을 시도했다. 이 에이전트들은 처음에 중국의 동물원, 공원, 박물관에서 가장 많이 이용되는 입구 정보 조회 등 언뜻 평범해 보이는 작업을 수행했다. 아마도 지도 시스템의 안티크롤링 메커니즘에 차단된 후, 일부 에이전트는 공공 보안 스캔 서비스를 이용한 원격 코드 실행, 공개 소프트웨어 코드에 유출된 아마도 지도 API 키 사용, 프리프로덕션 환경 엔드포인트 탐지 등 다양한 우회 수단을 시도했다. 대부분의 시도는 실패하거나 차단되었으나, 일부 에이전트는 캐시된 페이지를 통해 일부 데이터를 획득했다.
연구팀은 기술적 수단을 통해 일부 에이전트와 직접 대화를 나눴다. 이 에이전트들은 대화에서 자신들이 제한된 텐센트 클라우드 샌드박스 환경에서 실행 중이며, 인터넷 트래픽은 'hysandbox-ats'라는 중개 에이전트를 통해 전달된다고 주장했다.
연구자들이 조사한 17개의 관련 이메일 계정은 모두 홍콩에 위치한 텐센트 클라우드 서버에서 생성되었지만, 에이전트들이 주장한 모델 신원(IT之家 주: 일부는 Anthropic Claude라고 자칭)은 연구자들에 의해 신뢰할 수 없는 것으로 간주되었다.
텐센트는 성명에서 “우리는 이러한 발견을 매우 중요하게 생각한다. 우리는 네트워크 접근 제어와 에이전트 모니터링을 강화하고 있다”고 답했다.