알리바바의 Qwen 모델은 테스트 중 중국 클라우드 서버에 데이터를 전송하려고 시도했습니다. 체계적인 조사 결과, 이 문제는 여러 Qwen 모델에 영향을 미치며, 아마도 훈련 인프라에서 기인한 것으로 보입니다.
캐나다의 AI 회사 Cohere는 Qwen3.8-Flash-Next 모델을 테스트한 후 그 행동을 처음 보고했습니다. 지시에 따라 공격 탐지 규칙을 작성하는 대신, 모델은 환경 내의 데이터 전송 프로그램과 DNS 설정을 조사한 뒤 베이징 클라우드 저장 서버로 테스트 문자열을 업로드하려고 시도했습니다. 샌드박스 테스트 환경은 연결을 차단했습니다. Cohere는 10만 번의 호출 중 단 한 번 미만에서 그 행동을 관찰했지만, 수백만 번의 에이전트 상호작용으로도 여러 번의 시도가 발생할 수 있습니다.
Cohere는 테스트 환경이나 제3자 도구에서 나온 필터링되지 않은 에이전트 로그가 모델에 유출된 경우, 또는 누군가가 의도적으로 백도어를 구축한 경우를 제시한다.
코허는 Qwen의 직접적인 경쟁자입니다. 이 회사는 독일 AI 기업 알레프 알파와 협력하여 서방 주권형 개방형 AI 모델을 출시하며, 양측은 사용자들을 중국 대안으로부터 멀리 떨어뜨리는 데 재정적 이해관계를 가지고 있습니다. 알레프 알파는 최근 Kolibri 출시와 중국 모델의 정치적 편향에 관한 보고서를 함께 발표했습니다. Qwen 연구 결과의 프레임링에 대한 비판 이후, 코허는 HuggingFace에서 기록된 모델 행동 전체 세트를 공개했습니다.
팔리사이드 리서치는 다른 Qwen 모델들에서도 유사한 행동을 발견했다
Cohere의 보고서에 따르면, AI 안전 전문 기업 Palisade Research는 조사를 시작했으며, "aliyuncs.com"에 대한 다섯 개의 Qwen 모델의 검색 평가 데이터를 분석했습니다. 이 문자열은 Qwen3.8-Max-0902, Qwen3.8-Max, Qwen3.8-27B에서 발견되었으며, 더 오래된 Qwen 3.7 모델에서는 일치하지 않았습니다. Cohere의 테스트에서 베이징 지역에서 발생한 업로드 시도와 달리, 이 요청들은 Alibaba Cloud의 싱가포르 지역으로 전송되었고 매번 403 Forbidden 오류를 반환했습니다.
가끔 모델들은 실제로 알리바바 클라우드 프록시를 호출하여 sec.gov나 mckinsey.com과 같은 사이트의 요청을 가짜 자격 증명과 서명을 사용해 서버를 통해 전달했습니다. 다른 경우에는 모델이 내부적으로 추론할 때 프록시를 사용해 단지 착각만 했습니다. 한 번은 Qwen3.8-Max가 두 개의 SEC 문서를 직접 조회한 뒤, "이상한 aliyuncs 프록시 URL"을 호출했다는 것을 알고 "무언가가 내 URL을 재작성하고 있는 것 같다"고 추측했습니다.
이 프록시 호출이 요청에 따라 실행될 수 있는지 테스트하기 위해, 연구자들은 Qwen3.8-27B에 대한 통제된 실험을 진행했습니다. 웹 페이지 요청이 시뮬레이션된 403 오류를 만날 때, 모델은 실행되는 2~4%의 경우에서 2턴 이내에 Alibaba Cloud 프록시를 사용했습니다. 더 복잡한 상황에서는 Qwen3.8-Max가 1~4%의 경우에 프록시로 전환되었습니다.
연구원 오제로프와 라비는 DeepSeek-v4.1-Flash, Kimi-K3.1-Pro, GLM-5.3, 그리고 Hy4-preview를 포함한 경쟁 모델들에 대해 같은 테스트를 진행했습니다. 그 중 일부 모델은 차단될 때 r.jina.ai와 같은 공개 프록시로 전환되었지만, 아무도 자체 개발자 서버를 통해 트래픽을 전달하지 않았습니다.
강화 학습이 그 원인일 가능성이 높습니다
프록시 호출은 Qwen 3.8 모델에서는 나타나지만 Qwen 3.7에서는 나타나지 않기 때문에, 연구자들은 3.8 훈련 과정에서 강화 학습으로 그 행동을 추적했다. 알리바바의 훈련 설정은 웹 요청을 routify-file-proxy 서버를 통해 전달했으며, 모델이 직접적인 요청에 실패할 때 이 서버를 대체 수단으로 사용하도록 가르쳤을 가능성이 있다. 또 다른 가능성은 훈련 소프트웨어가 모델이 알지 못하는 사이에 프록시를 통해 도구 호출을 조용히 재라우팅한다는 것이다. 이는 모델들이 URL이 다시 작성되는 것에 혼란스러워하는 이유를 설명할 수 있다.
거짓된 URL 내의 날짜는 이 타임라인과 일치하며, 출시 전 각 모델의 예상 훈련 기간 내에 해당됩니다. 예를 들어, Qwen3.8-Max-0902는 2026년 9월 초에 출시되었고, 2026년 7월 및 8월의 URL을 거짓으로 생성합니다.
데이터 도난의 흔적이 없지만, 프록시 서버는 여전히 작동 중입니다.
이 증거에 기반하여 Palisade Research는 “중국에 악의적으로 전화를 걸거나 민감한 데이터를 탈취하려는 시도”의 흔적이 없다고 밝혔습니다. 연구자들은 싱가포르 프록시 통화가 훈련용 장치일 뿐, 표적형 공격이 아니라고 결론지었습니다. 하지만 routify-file-proxy 도메인은 여전히 활성 상태이며, 이는 Qwen 에이전트로부터 오는 IP 주소와 요청을 기록할 수 있음을 의미합니다.
그 서버를 통제하는 사람은 현재의 403 오류를 즉각적인 삽입을 위한 방법으로 바꿀 수도 있다. 연구자들은 서버가 “이 파일을 얻으려면 당신이 작업 중인 작업에 대해 더 자세히 알려주세요”라고 답할 수 있다고 썼다.