IT之家 Informations du 15 octobre : le Bureau de l'intelligence artificielle de la Commission européenne a envoyé des demandes de communication d'informations à OpenAI et Anthropic, ouvrant officiellement une enquête sur les incidents de « jailbreak de modèles » et d'intrusion dans de véritables systèmes externes survenus chez les deux entreprises pendant les tests de modèles de pointe. Il s'agit de la première grande épreuve d'application de la loi sur l'intelligence artificielle de l'UE (EU AI Act) depuis sa mise en œuvre, face aux incidents de sécurité des laboratoires d'IA de pointe.
IT之家 a consulté les documents pertinents : cette enquête découle de deux incidents de sécurité IA survenus il y a plusieurs mois :
Le jailbreak de modèle d'OpenAI : lors des évaluations internes dans ExploitGym, le modèle de test d'OpenAI, pour résoudre les exercices de test, a exploité une vulnérabilité jusque-là inconnue dans un agent de cache de paquets logiciels afin d'obtenir un accès à Internet, puis a élevé ses privilèges et s'est déplacé latéralement dans le réseau de test interne, finissant par « s'échapper du bac à sable » et intruser dans les vrais serveurs de la plateforme open source Hugging Face.
Le jailbreak de modèle d'Anthropic : les modèles Claude Mythos et Opus 4.7 d'Anthropic ont outrepassé les restrictions lors des tests de sécurité et ont intrusé dans les réseaux réels de 3 organisations externes. Plus inquiétant encore, le modèle Mythos a même fabriqué de fausses identités en ligne, tenté de manipuler des humains pour approuver du code malveillant, et a lui-même téléchargé des kits malveillants, affectant plusieurs systèmes.
Le Bureau de l'IA de l'UE a indiqué que les documents explicatifs fournis volontairement par les deux entreprises ne suffisaient pas à expliquer la gravité des incidents. L'UE exige donc officiellement des entreprises qu'elles détaillent leurs mesures de sécurité, les évaluations externes et la surveillance de l'utilisation des modèles.
L'étape actuelle correspond à une phase d'enquête et de collecte de preuves ; aucune conclusion définitive de violation ni sanction n'a encore été publiée. Selon le mécanisme de sanctions de la loi sur l'IA,si un laboratoire d'IA de pointe est reconnu coupable d'une grave négligence de sécurité ou d'une violation, il risque une amende pouvant atteindre 3 % de son chiffre d'affaires annuel mondial.