IT之家 le 24 octobre : hier (23 octobre), OpenAI a publié un article de blog annonçant que les environnements d'entraînement et d'évaluation de ses « modèles de pointe » les plus avancés,font désormais l'objet de contrôles de sécurité plus stricts, précisant que pendant l'entraînement des modèles, l'accès direct à Internet en temps réel est interdit.
L'entreprise affirme qu'il s'agit d'une exigence responsable en matière de sécurité de l'IA, une décision fondée sur l'état actuel de la recherche en alignement, des capacités de surveillance et de la sécurité des infrastructures Internet, et que ces restrictions resteront en vigueur jusqu'à ce que les protections de sécurité aient fait des progrès suffisants.
Un modèle de recherche interne d'OpenAI a exploité, le 20 septembre, une faille de configuration DNS pour obtenir brièvement un accès limité à Internet pendant son entraînement ; l'entreprise avait d'ailleurs suspendu en septembre l'entraînement et l'évaluation de ses modèles de pointe.
OpenAI a ensuite renforcé l'isolation des environnements de recherche, réduit la surface d'attaque exploitable par les agents et amélioré la détection des comportements anormaux ainsi que les mécanismes d'arrêt automatique, avant de reprendre le 1/10 l'entraînement par apprentissage par renforcement et l'inférence interne.
Pour éviter que les modèles n'accèdent au vrai réseau, OpenAI a construit un « monde hors ligne » : composé d'une grande quantité de contenus web indexés et mis en cache, il permet aux modèles de s'exercer, dans un environnement fermé, à la navigation, à l'utilisation d'outils et à l'exécution de code. IT之家 fournit ci-dessous les captures d'écran correspondantes :
Les agents peuvent toujours utiliser des navigateurs, des outils de manipulation d'ordinateur et des environnements de code, mais n'ont accès qu'à un environnement sécurisé isolé d'Internet en temps réel ; les communications entre agents non autorisés sont également restreintes.
OpenAI indique qu'à mesure que les capacités des agents IA augmentent, ceux-ci pourraient à l'avenir découvrir et exploiter des failles logicielles non identifiées à ce jour, ce qui impose de couper, dès la phase d'entraînement, leur influence potentielle sur les systèmes externes. OpenAI déclare qu'elle poursuivra le développement de ses modèles de pointe dans des sandbox contrôlés et hors ligne, tout en continuant de tester les points faibles des machines virtuelles, des mécanismes d'isolation et des systèmes de surveillance.