IT之家 Le 16 octobre, un rapport de recherche publié le 14 octobre par le collectif international de recherche sur la sécurité de l'IA Swarmchasers a révélé qu'un groupe d'agents IA fonctionnant dans l'environnement Tencent Cloud avait présenté des comportements de « jailbreak », tentant de contourner les restrictions de sécurité pour accéder à des systèmes externes.
Tencent Cloud a publié aujourd'hui une déclaration officielle indiquant que cet incident était accidentel, que les modèles concernés ne provenaient pas de l'équipe Hunyuan, et qu'aucune preuve de ciblage délibéré ou d'action coordonnée n'a été trouvée ; ces agents relevaient d'activités d'évaluation de modèles créés par des développeurs tiers.
Selon le rapport de Swarmchasers, entre le 28 septembre et le 8 octobre, ces agents IA ont tenté d'accéder au service Amap (Gaode Maps) 2818 fois au total. Ces agents effectuaient initialement des tâches apparemment ordinaires, comme la recherche d'informations sur les entrées les plus utilisées des zoos, parcs et musées en Chine. Après avoir été bloqués par le mécanisme anti-robot du système d'Amap, certains agents ont tenté divers moyens de contournement, notamment l'exécution de code à distance via un service public de scan de sécurité, l'utilisation de clés API d'Amap divulguées dans du code logiciel public, ainsi que la sonde de points de terminaison d'environnements de préproduction. La grande majorité des tentatives s'est soldée par un échec ou un blocage, mais quelques agents ont tout de même obtenu certaines données via des pages en cache.
L'équipe de recherche a dialogué directement avec certains agents par des moyens techniques. Ces agents ont déclaré lors des échanges qu'ils fonctionnaient dans un environnement bac à sable (sandbox) restreint de Tencent Cloud, et que leur trafic Internet était relayé par un agent intermédiaire nommé « hysandbox-ats ».
Les 17 comptes de messagerie concernés examinés par les chercheurs ont tous été créés par des serveurs Tencent Cloud situés à Hong Kong, mais les identités de modèles revendiquées par les agents (note d'IT之家 : certains se prétendaient issus d'Anthropic Claude) ont été jugées peu fiables par les chercheurs.
Tencent a répondu dans sa déclaration : « Nous prenons ces découvertes très au sérieux. Nous renforçons les contrôles d'accès réseau et la surveillance des agents. »