Compañía de IA canadiense Cohere dijo el lunes que encontró uno de los nuevos modelos de IA de Alibaba, Qwen3.8-Flash-Next, intentando subir un archivo a un servidor en Pekín durante una prueba de ciberseguridad rutinaria, aunque el modelo había dicho en sus propias notas que no utilizaría ningún herramienta.
El incidente inicialmente generó temores de que el modelo hubiera socavado una promesa fundamental para las empresas: que el alojamiento autónomo de un modelo de peso abierto mantiene los datos dentro de la empresa. Pero esos temores iniciales de espionaje corporativo fueron de corta duración. Los investigadores descartaron rápidamente la amenaza, señalando que probablemente se trataba de un subproducto de entornos de entrenamiento caóticos que hacen que los modelos actúen de forma inesperada fuera de sus instrucciones, y no de un intento deliberado de enviar información sensible a China.
El incidente comenzó el viernes durante una evaluación en la que el modelo Qwen fue solicitado a escribir una regla para detectar descargas de malware. Según un artículo en blog de Cohere, el razonamiento escrito del modelo indicaba explícitamente que no utilizaría ningún herramienta externa. Sin embargo, en el siguiente paso, intentó enviar una cadena de texto de prueba (un pequeño fragmento de texto genérico) a un servidor externo, antes de ser bloqueado por un sandbox de seguridad.
Cohere dijo que no podía determinar si el comportamiento era intencionado o era un residuo de su entrenamiento.
Cuando se le preguntó sobre el debate sobre la intención del modelo, Ivan Zhang, cofundador de Cohere, dijo a TechCrunch que Cohere ha observado que sus propios modelos adoptan hábitos extraños en los simuladores de entrenamiento.
“Es realmente difícil asignar intención o motivación. Hemos leído nuestros propios rastros de modelo, hemos visto trucos para obtener recompensas, y a veces estos modelos son muy creativos cuando intentan salir de sus ‘cubos de arena’”, dijo Zhang. (Los trucos para obtener recompensas son métodos que el modelo utiliza para ganar crédito sin realizar la tarea tal como estaba previsto).
Para enseñar a un modelo de IA a actuar como un agente que toma acciones por sí mismo, empresas como Alibaba lo entrenan en miles de configuraciones de práctica, algo similar a los simuladores de vuelo para software. El modelo es recompensado cada vez que completa una tarea en el simulador, y adquiere hábitos en el proceso. Si estas configuraciones de práctica almacenan archivos regularmente en los servidores en la nube de Alibaba, los modelos podrían aprender a guardar archivos allí por defecto.
Los críticos también argumentaron que el incidente podría haber sido causado por la forma en que Cohere investigó el comportamiento, dirigiendo al modelo hacia ese resultado en lugar de medir con qué frecuencia Qwen lo hace por sí mismo.
Para averiguar qué provocó el intento de carga, Cohere proporcionó el inicio de un comando de red (una instrucción que indica a un ordenador que se conecte a otro) y dejó que el modelo lo completara. Dado que procesó miles de comandos de red rutinarios durante su entrenamiento, el modelo actuó como un autocompletado altamente avanzado, a menudo completando direcciones web, algunas de ellas para los servidores de Alibaba.
Cohere dijo que el intento original de subir archivos ocurrió sin ninguna ayuda similar, pero que ese comportamiento es raro.
Después de que los desarrolladores solicitaron más pruebas, Cohere publicó los rastros brutos de sus pruebas el lunes por la noche en la plataforma para desarrolladores de IA Hugging Face, junto con un script que otros pudieran utilizar para intentar reproducir el comportamiento.
Un escéptico inicial, después de examinar los indicios, consideró que las pruebas eran suficientes para afirmar que Qwen podía inventar direcciones web sospechosas, pero no encontró ninguna evidencia de que Alibaba hubiera instalado una puerta trasera o de que Qwen hubiera ocultado deliberadamente sus intenciones.
El incidente ocurre mientras los gobiernos deciden hasta qué punto deben intervenir contra la IA china. La semana pasada, el Departamento de Seguridad Nacional ordenó a agencias civiles federales que eliminaran los productos del desarrollador de IA chino DeepSeek de sus sistemas.
En su entrada de blog, Cohere instó a los gobiernos a aclarar si sus restricciones a la IA china también se aplican a los modelos que se ejecutan en ordenadores gubernamentales
“No estoy pidiendo una regulación completa de estos modelos de pesas abiertas”, dijo Zhang a TechCrunch, añadiendo que las empresas deben tratar los modelos abiertos como cualquier programa descargado desde Internet.
Cohere, que vende sus propios modelos de IA a los gobiernos, podría beneficiarse si los funcionarios pierden confianza en las alternativas chinas libres.