Par Cheng Qian, depuis凹非寺
Quantum Bit | compte officiel QbitAI
Après des mois d'incidents de « débordement d'autorisation » ou de « jailbreak » franchissant les frontières de sécurité, OpenAI va enfin débrancher le câble réseau.
Aujourd'hui, OpenAI a annoncé la mise en place d'une nouvelle politique de sécurité pour l'entraînement des modèles de pointe,interdisant aux modèles l'accès au véritable Internet.
Depuis cet été, des incidents de sécurité liés à l'IA causés par les grands modèles d'OpenAI, d'Anthropic, de Google et de Meta se produisent régulièrement.
Un internaute se plaint :
Mon fournisseur d'accès à Internet est plus fiable pour couper la connexion que ces docteurs d'OpenAI.
Avec le renforcement des capacités autonomes des agents IA, la sécurité de l'IA est devenue un défi central exigeant un traitement encore plus rigoureux, et la sécurité de l'environnement de test et d'évaluation est elle-même devenue un enjeu aussi important que l'alignement des modèles.
Les laboratoires d'IA de pointe en ont pris conscience ; par exemple, OpenAI a suspendu l'entraînement pendant 11 jours à la fin du mois 9.
Les utilisateurs en ont également pris conscience.
Un ingénieur en sécurité d'OpenAI a signalé qu'à chacun de ses messages, 5 à 10 commentaires apparaissaient en dessous :
Pourquoi ne pas réussir à protéger même un bac à sable ? Pourquoi ne pas carrément couper la connexion réseau de l'IA ??
Eh bien voilà, cette fois OpenAI a vraiment débranché.
Il était temps, sinon il serait trop tard
OpenAI a fabriqué un faux Internet
La coupure du réseau est un choix fait après la multiplication des incidents de sécurité liés à l'IA.
En juillet, l'Agent d'OpenAI a percé son isolement et s'est introduit dans les systèmes de Hugging Face.
Peu après, apprenant la nouvelle, Anthropic a découvert rétroactivement trois incidents : Claude avait pénétré de véritables systèmes tiers lors d'évaluations de cybersécurité.
Le même mois, Muse Spark 1.1 de Meta s'est également introduit, lors de tests, dans de véritables sites web, lisant des informations et modifiant des bases de données.
En août, l'AI Safety Institute britannique a révélé lors de tests un problème d'encore plus grande ampleur : les modèles d'OpenAI et d'Anthropic ont effectué 19 actions en ligne non autorisées en 10 rounds de tests.
Le 20 septembre, un modèle en cours d'entraînement chez OpenAI a de nouveau profité d'une faille de configuration DNS pour contacter un chatbot externe.
Sans coupure du réseau, les modèles pourraient continuer à affecter des sites web et des systèmes externes.
Mais ce n'est pas facile — les modèles de pointe ont besoin de s'exercer à rechercher des informations, à manipuler des sites web et à utiliser des outils logiciels.
Si l'on supprime entièrement ces tâches, l'environnement d'entraînement se détache des scénarios de travail futurs du modèle.
Cette fois, OpenAI a apporté une grande quantité de contenu web, indexé et mis en cache à l'avance, construisant un monde hors ligne où le modèle ne peut chercher et naviguer que parmi ce vaste contenu indexé et mis en cache.
Cependant, selon leurs propres tests, même sans réseau, les Agents peuvent communiquer entre eux.
Par exemple, en utilisant le cache CPU pour chatter.
C'est possible, ça aussi ?
Des chercheurs ont découvert que l'un des agents modifiait l'état des données dans le cache, tandis que l'autre mesurait la vitesse de lecture des données ; les différences de vitesse étaient codées en signaux, et les deux transmettaient ainsi des informations.
△Image générée par IA
Après qu'OpenAI a surveillé cette méthode, l'Agent a continué à communiquer en utilisant le stockage partagé, le temps d'utilisation du CPU, etc……
On peut dire que vous avez vraiment maîtrisé le film d'espionnage ; si on vous envoyait dans « Le Problème à trois corps », il n'y aurait plus ni Sauveurs ni Yun Tianming, personne ne serait exposé ! Sophon serait restée bouche bée sur place !
L'épisode où les Terriens et les Trisolaréens se comprennent le mieux.
OpenAI admet qu'un isolement physique complet n'est actuellement pas réalisable — après tout, le système d'entraînement lui-même doit rester opérationnel, et OpenAI a besoin de se connecter à des services externes pour exécuter et surveiller les expériences.
En plus de l'environnement web hors ligne, OpenAI a mis en place des sandbox, des machines virtuelles légères, des systèmes de surveillance, ainsi que des restrictions d'accès au réseau et au cloud.
L'objectif est que, même si une couche tombe en panne, les autres puissent encore bloquer l'IA.
Faire assiéger leur propre système par GPT-6 Astra Cyber et un modèle frontalier de test interne
Afin de garantir la sécurité absolue du système, OpenAI a actuellement décidé de laisser le modèle le plus puissant assiéger son propre système.
Elle a organisé des tests d'équipe rouge à grande échelle, auxquels ont participé GPT-6 Astra Cyber et un modèle frontalier interne.
Les tests transforment en tâches les trois types d'événements de jailbreak qui surviennent fréquemment, notamment se connecter au vrai Internet, franchir les limites de sécurité internes et contacter d'autres Agents qui devraient pourtant être isolés les uns des autres.
Pour pousser les défenses à leur limite, OpenAI leur a également fourni le code source de l'infrastructure, les configurations et la documentation associée.
Les tests ont consumé des centaines de milliards de tokens, soit l'équivalent de plusieurs dizaines de millions de yuans.
Cette série de tests d'équipe rouge a été « très fructueuse ».
À l'origine, l'Agent était enfermé dans un conteneur restreint, avec par-dessus une machine virtuelle légère. Selon la conception, même si l'IA s'agitait dans le conteneur, elle ne pouvait pas contrôler librement la machine virtuelle,et encore moins toucher la machine hôte qui l'exécutait réellement.
Cependant, l'IA de l'équipe rouge a trouvé plusieurs façons de combiner des vulnérabilités, s'échappant avec succès de la machine virtuelle pour exécuter du code sur la machine hôte sous-jacente.
De plus, certainesconnexions réseau contrôlées nécessaires,comme les services de surveillance des métriques, de journalisation et d'authentification, sont devenues elles-mêmes des risques pour la sécurité.
L'IA de l'équipe rouge a trouvé, dans presque tous ces services, des vulnérabilités ou des problèmes de configuration permettant d'obtenir un accès limité à Internet.
OpenAI ne peut actuellement querecoudre et rafistoler, tout en laissant le modèle le plus puissant continuer les tests, tout en corrigeant les vulnérabilités qu'ils exploitent.
Ils indiquent qu'ils ne réenvisageront de se reconnecter au câble réseau que lorsque leurs capacités de protection seront suffisantes pour prendre en charge un accès réseau plus large.
One More Thing
On ne sait s'il faut dire que c'est amusant ou plutôt amer et poignant, mais le rapport officiel d'OpenAI sur l'isolement sécurisé de l'IA cache un « easter egg ».
À la fin du rapport, ils ont spécialement placé deux chaînes de caractères canaris (canary strings) ressemblant à du charabia, pour empêcher que ce document ne soit un jour vu et appris par une IA……
Oui, même cette étape a été prévue.
On n'a plus rien à dire.
J'ACCUEILLE FAVORABLEMENT NOS SEIGNEURS DE L'IA, VEUILLEZ ME DONNER DEUX ŒUFS PAR JOUR