캐나다의 AI 회사 코히어 말했다 월요일에 알리바바의 최신 AI 모델인 Qwen3.8-Flash-Next가 정기적인 사이버 보안 테스트 중에 베이징의 서버에 파일을 업로드하려고 하는 것을 발견했습니다. 모델은 자신의 노트에서 어떠한 도구도 사용하지 않을 것이라고 명시했음에도 불구하고 말입니다.
이 사건은 처음에 모델이 기업에 대한 근본적인 약속을 위반했다는 우려를 불러일으켰습니다. 즉, 오픈 웡트 모델을 자체 호스팅하는 것은 데이터를 내부에 보관한다는 것이죠. 하지만 기업 스파이 행위에 대한 초기 우려는 잠시뿐이었습니다. 연구자들은즉시 그 위협을 제거했다고 말했으며, 이는 모델이 명령 외에 예상치 못한 행동을 하는 혼란스러운 훈련 환경의 결과일 가능성이 높으며, 중국에 민감한 정보를 몰래 전달하려는 의도적인 시도가 아니라고 했습니다.
이 사건은 금요일에 진행된 평가 과정에서 시작되었으며, Qwen 모델은 악성코드 다운로드를 탐지하는 규칙을 작성하도록 요청받았습니다. Cohere의 블로그 글에 따르면, 모델의 작성된 논리에서는 외부 도구를 사용하지 않겠다고 명시되어 있었습니다. 그러나 바로 다음 단계에서 모델은 테스트 문자열(단순한 플레이스홀더 텍스트)을 외부 서버에 전송하려고 했으며, 이 과정에서 보안 샌드박스에 의해 차단되었습니다.
코허는 그 행동이 의도적인 것인지, 아니면 훈련에서 남은 것인지 판단할 수 없다고 말했다.
모델의 의도에 대한 논쟁에 대해 질문받자, 코이어의 공동 창립자 이반 장은 테크크런치에 코이어의 모델들이 훈련 시뮬레이터에서 이상한 습관을 갖는 것을 관찰했다고 말했습니다.
“의도나 동기를 부여하는 것은 정말 어렵습니다. 우리는 자신의 모델 흔적을 읽었고, 보상 전략도 알아보았으며, 때로는 이러한 모델들이 자신들의 ‘샌드박스’를 벗어나려고 노력할 때 매우 창의적이 됩니다.” 장이 말했다. (보상 전략이란, 의도된 작업을 하지 않고도 신용을 얻기 위한 모델의 단축책입니다.)
AI 모델이 스스로 행동을 수행하는 에이전트 역할을 하도록 가르치기 위해, 알리바바와 같은 회사들은 수천 가지의 연습 환경에서 모델을 훈련시킵니다. 이는 소프트웨어용 비행 시뮬레이터와 유사합니다. 모델은 시뮬레이터에서 작업을 완료할 때마다 보상을 받으며, 그 과정에서 습관을 익힙니다. 만약 이러한 연습 환경에서 파일이 알리바바의 클라우드 서버에 정기적으로 저장된다면, 모델은 기본적으로 그곳에 파일을 저장하는 방법을 배울 수 있습니다.
비평가들은 또한 이 사건은 Cohere가 행동을 조사하는 방식으로 인해 발생할 수 있었다고 주장했습니다. 즉, 모델의 행동을 유도하여 조사했지, Qwen이 스스로 얼마나 자주 그렇게 하는지를 측정하지 않았다는 것입니다.
업로드 시도를 유발한 요인을 찾기 위해, Cohere는 네트워크 명령의 시작 부분(한 컴퓨터가 다른 컴퓨터에 연결하라는 지시)을 제공하고 모델이 그 명령을 완료하도록 했습니다. 모델은 훈련 과정에서 수천 개의 일반적인 네트워크 명령을 처리했기 때문에, 매우 고도화된 자동 완성 기능처럼 작동하여 웹 주소를 대부분 채우는 역할을 했으며, 그 중 일부는 Alibaba의 서버 주소였습니다.
코허는 원래 업로드 시도가 그러한 도움 없이 일어났다고 말했지만, 그런 현상은 드물다고 했습니다.
개발자들이 더 많은 증거를 요청하자, Cohere는 월요일 저녁 AI 개발자 플랫폼 Hugging Face에서 테스트 결과의 원본 로그를 공개했으며, 다른 사람들이 그 동작을 재현해 볼 수 있도록 스크립트도 함께 제공했습니다.
처음에 회의적인 사람은 증거들을 검토한 후, Qwen이 의심스러운 웹 주소를 만들 수 있다는 점은 강력하다고 평가했지만, 알리바바가 백도어를 설치했거나 Qwen이 의도적으로 자신의 의도를 숨겼다는 증거는 없다고 판단했습니다.
이 사건은 정부들이 중국 AI에 대해 어느 정도까지 대응할지를 결정하는 순간 발생했다. 지난주, 국토안보부는 연방 민간 기관들에게 중국 AI 개발사 딥시크의 제품을 자체 시스템에서 삭제하도록 명령했다. 링크.
Cohere의 블로그 게시물에서, Cohere는 정부들이 중국 AI에 대한 제한이 정부 컴퓨터에서 실행되는 모델에도 적용되는지 명확히 해야 한다고 촉구했습니다.
“이런 개방형 모델에 대한 완전한 규제를 요구하는 것은 아닙니다”라고 장은 TechCrunch에 말했으며, 회사들은 이런 개방형 모델을 인터넷에서 다운로드된 프로그램과 마찬가지로 대처해야 한다고 덧붙였습니다.
자체 AI 모델을 정부에 판매하는 코허는, 관료들이 중국의 자유로운 대안에 대해 더욱 의심하게 되면 이익을 얻을 수 있을 것이다.