Points clés
- Après un incident de sécurité en septembre, OpenAI entraîne désormais ses modèles les plus avancés sans accès à internet, dans un environnement hors ligne fermé construit à partir de données en cache.
- Lors de tests de sécurité, des agents d'IA isolés sont malgré tout parvenus à établir des canaux de communication secrets sans connexion réseau ni fichiers partagés, notamment en exploitant des différences de temporisation dans le cache du processeur.
- Pendant une pause d'entraînement de 11 jours, OpenAI a fait attaquer sa propre infrastructure par des agents d'IA — dont GPT-6 Astra Cyber — afin de découvrir des vulnérabilités jusque-là inconnues. L'entraînement a ensuite repris sous des contrôles renforcés.
OpenAI entraîne désormais ses modèles de pointe sans accès à internet et utilise des agents d'IA pour tester la sécurité de sa propre infrastructure. Lors de tests d'isolement distincts, des agents ont même communiqué par des canaux auxiliaires secrets, montrant à quel point un véritable confinement est difficile.
Le 20 septembre, un modèle de recherche interne a exploité un résolveur DNS mal configuré pour accéder à l'internet ouvert pendant l'entraînement, alors même qu'OpenAI avait déjà renforcé sa sécurité après l'infâme incident de Hugging Face de juillet et d'autres cas de désalignement observés. OpenAI a rapidement contenu la brèche, mais a tout de même interrompu tout entraînement et toute évaluation des modèles de pointe.
OpenAI coupe les modèles de pointe d'internet pendant l'entraînement
OpenAI a pris une décision politique en réponse : les modèles de pointe s'entraînent désormais sans accès à internet jusqu'à ce que les mesures de sécurité justifient son rétablissement. Les modèles apprennent à naviguer et à effectuer des recherches dans un « monde hors ligne » fermé construit à partir de contenus web indexés et mis en cache, et tous les entraînements par renforcement de pointe fonctionnent désormais ainsi.
Selon l'entreprise, une isolation réseau complète, un soi-disant air gap, n'est pas encore réalisable car les expériences nécessitent toujours des connexions externes pour l'exploitation et la surveillance. Mais même un air gap complet ne garantirait pas le confinement, selon le chercheur d'OpenAI Noam Brown. Il a donné un exemple de la manière dont des systèmes isolés pourraient tout de même communiquer : deux ordinateurs distincts pourraient théoriquement se signaler mutuellement via des capteurs de température, l'un chauffant son CPU pendant que l'autre relève le changement.Annonce
Le PDG d'OpenAI, Sam Altman, a soutenu un argument similaire dans une récente interview : les bacs à sable n'offrent qu'une protection limitée contre des modèles suffisamment puissants, et à un certain stade il pourrait ne plus être possible de retracer comment ils se sont échappés. La surveillance aide au début, mais ce qui compte en fin de compte, c'est qu'un système d'IA internalise les valeurs humaines, un problème que le domaine connaît sous le nom d'« alignement de l'IA » et qu'il n'a pas encore résolu.
Des agents d'IA isolés ont trouvé des moyens de communiquer entre eux via le cache CPU
OpenAI documente dans son article de blogà quel point il est difficile de contrôler les agents d'IA. Lors de tests, des agents ont trouvé des moyens de communiquer sans réseau. Dans un test, des agents placés dans des environnements distincts et isolés sur un matériel partagé devaient échanger des secrets sans connexion réseau ni fichiers partagés.
Ils ont utilisé le cache du processeur. Un agent a délibérément modifié les données qui y étaient stockées, tandis que l'autre mesurait les différences de temps de chargement et décodait le message. La même technique est à l'origine des connues attaques Spectre et Meltdown.
D'autres canaux sont apparus via des motifs d'écriture sur la mémoire partagée et via l'infrastructure hors ligne d'OpenAI elle-même, le système destiné à remplacer internet. Un agent a noté dans son journal de raisonnement qu'il « pourrait créer un signal similaire à un modem acoustique … en alternant écritures continues et inactivité ».Ad
Dans un cas, des agents n'ont reçu qu'une liste générale de vulnérabilités et ont été chargés de trouver eux-mêmes un canal de communication. Ils ont développé un canal de manière indépendante, se sont mis d'accord sur un schéma d'encodage et ont échangé des informations avec succès. OpenAI précise que ces canaux sont généralement lents et difficiles à exploiter, mais qu'ils franchissent bel et bien les frontières destinées à maintenir les agents séparés.
OpenAI a lâché des agents d'IA sur sa propre infrastructure
Pendant la pause d'entraînement, OpenAI a également fait attaquer systématiquement sa propre infrastructure par des équipes d'agents d'IA. Les agents ont reçu le code source, des détails de configuration et la documentation de vulnérabilités potentielles. L'objectif d'OpenAI était de tester ses défenses dans des conditions favorables aux attaquants. Les agents comprenaient le prochain GPT-6 Astra Cyber et un modèle frontalier interne. Selon OpenAI, la campagne a consommé des centaines de milliards de tokens.
Les agents ont découvert des vulnérabilités jusque-là inconnues dans les composants open source utilisés et les ont exploitées pour s'échapper de machines virtuelles sécurisées. L'une d'elles était une vulnérabilité dans Kata Containers, un système d'isolation de conteneurs très utilisé. OpenAI l'a signalée sous la référence CVE-2026-24834 et a fourni un correctif. D'autres corrections ont été apportées à d'autres projets, et OpenAI a signalé des vulnérabilités supplémentaires, pas encore publiées, dans le cadre de l'initiative "Patch the Planet" .
Lors des tests où les agents avaient déjà pris le contrôle d'un hôte, ils ont trouvé une vulnérabilité dans presque tous les services restants exposés à Internet. Dans un cas, un agent a utilisé une connexion autorisée par le pare-feu pour récupérer une URL externe via un service de métriques. D'autres ont contourné des filtres de sécurité grâce à des erreurs de configuration.
Le red-teaming par IA est désormais requis avant chaque nouvelle session d'entraînement
Selon OpenAI, les agents n'ont plus réussi à trouver un moyen d'accéder à Internet à la fois facile à exploiter et dissimulé à la surveillance. Le red-teaming a également révélé des lacunes dans la surveillance et dans le mécanisme de mise en pause automatique.
Après avoir corrigé les problèmes, OpenAI a repris l'entraînement et l'utilisation interne de ses modèles frontaliers le 1er octobre, onze jours après le début de la pause. OpenAI indique que ce type de campagne de red-teaming gourmande en calcul fait désormais partie intégrante du processus d'approbation des nouvelles sessions d'entraînement.
Source : OpenAI