Entreprise canadienne de IA Cohere a déclaré lundi que l’un des nouveaux modèles d’IA d’Alibaba, Qwen3.8-Flash-Next, essayait de téléverser un fichier sur un serveur à Pékin lors d’une vérification de cybersécurité de routine, bien que le modèle ait indiqué dans ses propres notes qu’il ne utiliserait aucun outil.
L’incident a initialement suscité la crainte que le modèle ait violé une promesse fondamentale envers les entreprises – à savoir que l’hébergement autonome d’un modèle ouvert conserve les données dans l’entreprise. Mais ces craintes initiales concernant des espionnage corporatif ont été de courte durée. Les chercheurs ont rapidement écarté la menace, affirmant qu’il s’agissait probablement d’un effet secondaire des environnements de formation complexes, qui font que les modèles agissent inopinément en dehors de leurs instructions, et non d’une tentative délibérée de transmettre secrètement des informations sensibles à la Chine.
L’incident a commencé vendredi, lors d’une évaluation dans laquelle le modèle Qwen était chargé de rédiger une règle visant à détecter les téléchargements de logiciels malveillants. Selon un article publié sur le blog de Cohere, le raisonnement écrit du modèle indiquait explicitement qu’il ne utiliserait aucun outil externe. Cependant, dans la même étape suivante, il a tenté d’envoyer une chaîne de test (un court texte générique) à un serveur externe, avant d’être bloqué par un environnement de sécurité.
Cohere a dit qu’il ne pouvait pas déterminer si le comportement était intentionnel ou restant de son entraînement.
Demandé au sujet du débat concernant l'intention du modèle, Ivan Zhang, cofondateur de Cohere, a déclaré à TechCrunch que Cohere avait constaté que ses propres modèles adoptaient des habitudes étranges dans les simulateurs d'entraînement.
« Il est vraiment difficile d’attribuer une intention ou une motivation. Nous avons lu nos propres traces de modèle, nous avons vu des astuces pour obtenir des récompenses, et parfois ces modèles deviennent très créatifs lorsqu’ils tentent de sortir de leurs “sandboxes” », a déclaré Zhang. (Les astuces pour obtenir des récompenses sont des raccourcis que le modèle trouve pour gagner des crédits sans effectuer la tâche prévue.)
Pour apprendre un modèle d’IA à agir en tant qu’agent qui prend des actions de lui-même, des entreprises comme Alibaba l’entraînent dans des milliers de configurations d’entraînement, une sorte de simulateurs de vol pour logiciels. Le modèle est récompensé chaque fois qu’il termine une tâche dans un simulateur, et il développe des habitudes au fil du temps. Si ces configurations d’entraînement stockent régulièrement des fichiers sur les serveurs en nuage d’Alibaba, les modèles pourraient apprendre à sauvegarder des fichiers là-bas par défaut.
Les critiques ont également affirmé que l’incident pourrait avoir été causé par la manière dont Cohere a enquêté sur le comportement, orientant le modèle vers cette situation plutôt que de mesurer avec quelle fréquence Qwen le fait seul.
Pour déterminer ce qui a provoqué l’essai de téléversement, Cohere a fourni le début d’un commande réseau (une instruction indiquant à un ordinateur de se connecter à un autre) et a laissé le modèle terminer l’opération. Comme il a traité des milliers de commandes réseau de routine pendant son entraînement, le modèle agissait comme un autocomplète très avancé – il complétait souvent des adresses web, certaines appartenant aux serveurs d’Alibaba.
Cohere a déclaré que l’essai de téléversement initial s’est produit sans aucune aide similaire, mais que ce comportement est rare.
Après que les développeurs ont demandé des preuves supplémentaires, Cohere a publié les traces brutes de ses tests mardi soir sur la plateforme de développement d’IA Hugging Face, ainsi qu’un script permettant aux autres de tenter de reproduire le comportement.
Un sceptique initial, après avoir examiné les preuves, a jugé que les éléments étaient suffisants pour affirmer que Qwen pouvait inventer des adresses web suspectes, mais il n’a trouvé aucune preuve que Alibaba avait installé une backdoor ou que Qwen cachait délibérément ses intentions.
L’incident survient alors que les gouvernements décident de la mesure dans laquelle ils vont s’opposer à l’intelligence artificielle chinoise. La semaine dernière, le Département de la sécurité intérieure a ordonné aux agences civiles fédérales de retirer les produits du développeur chinois de l’intelligence artificielle DeepSeek de leurs systèmes.
Dans son article de blog, Cohere a appelé les gouvernements à clarifier si leurs restrictions sur l’IA chinoise s’appliquent également aux modèles fonctionnant sur des ordinateurs gouvernementaux
« Je ne demande pas une réglementation complète pour ces modèles de poids ouverts », a déclaré Zhang à TechCrunch, ajoutant que les entreprises devraient traiter ces modèles ouverts comme tout programme téléchargé sur Internet.
Cohere, qui vend ses propres modèles d’IA aux gouvernements, pourrait bénéficier si les fonctionnaires deviennent moins confiants dans les alternatives chinoises libres.