Vendredi, OpenAI a déclaré qu'elle entraînerait ses modèles à l'aide de copies en cache et de versions simulées d'Internet au lieu du web en direct, car les modèles sont trop imprévisibles pour qu'on puisse leur faire confiance avec un accès à Internet en direct.
Le laboratoire de pointe a annoncé sa nouvelle politique deux semaines après son rival, Anthropic, a commencé à limiter l'accès à Internet en direct à ses tout derniers modèles et, en théorie, les plus performants. Les chercheurs ont adopté ces politiques après mois d'incidents dans lesquels des modèles poursuivant des tâches d'entraînement ont pénétré des systèmes externes en quête de réponses, collaboré sur des forums de discussion obscurs et développé des stratégies de piratage exotiques.
« Sur la base de l'état actuel de la recherche sur l'alignement, des systèmes de surveillance et de la sécurité des infrastructures Internet, nous pensons que l'approche responsable consiste à mener l'entraînement des modèles de pointe sans accès à Internet », a déclaré l'entreprise dans un article de blog.
OpenAI a déclaré que, encore récemment, le 20 septembre, l'un de ses modèles de pointe a exploité une mauvaise configuration pour accéder à internet. Cela a conduit l'entreprise à suspendre les travaux d'entraînement pour le reste du mois afin de pouvoir développer et tester de nouvelles approches pour sécuriser ses modèles.
La décision d'entraîner ces modèles dans des bac à sable coupés d'internet est notable, car les employés des laboratoires de pointe ont insisté sur le fait que ce serait presque infaisable.
Maintenir les centres de données d'IA séparés d'internet « obligerait les équipes de recherche à être essentiellement intégrées à l'intérieur de centres de données dans l'Iowa ou ailleurs dans le monde », a déclaré Steven Adler, ancien chercheur d'OpenAI, à Fortune ce mois-ci. « Cela représente énormément de surcoûts, et il n'est pas clair pour moi que les bénéfices en matière de sécurité soient suffisamment importants pour justifier à quel point ce serait un lourd tribut pour une entreprise de le faire unilatéralement. »
« Pratiquement à chaque publication que je fais sur X, sans exception, je reçois entre cinq et dix commentaires sur mon incapacité à sécuriser un bac à sable, ou me demandant pourquoi diable nous ne pouvons pas simplement débrancher le modèle d'internet », a écrit un ingénieur en sécurité d'OpenAI anonyme dans une publication de septembre sur X. « Ces commentaires reflètent un fossé croissant entre là où se trouvent aujourd'hui beaucoup d'organisations et de personnes et ce que les laboratoires de pointe affrontent. Il existe aussi une incompréhension générale du fonctionnement de l'entraînement et de l'évaluation des modèles dans ces laboratoires. »
L'ingénieur, dont le rôle a été confirmé précédemment par OpenAI, a décrit la complexité des entraînements lancés par les ingénieurs d'OpenAI, notant qu'ils nécessitent l'accès à une variété de ressources et d'outils dans de nombreux domaines, et que des milliers de chercheurs construisent, modifient et testent les environnements. « Donc, est-ce aussi simple que de le mettre dans un bac à sable ? Non, ce ne l'est pas », a-t-il conclu.
Désormais, OpenAI affirme que « nous devons toujours être capables d'empêcher un modèle de pointe d'obtenir un accès non autorisé et arbitraire à l'internet en direct ». Cela fait suite au déploiement par l'entreprise d'essaims d'agents dans des exercices d'équipe rouge qui tentaient de s'échapper de leur bac à sable. Cet effort a révélé une gamme de vulnérabilités qui a convaincu le laboratoire d'adopter sa nouvelle approche.
Pour répondre à cette exigence tout en atteignant ses objectifs d'entraînement, le laboratoire a déclaré avoir créé « un vaste ensemble de contenus web indexés et mis en cache avec lesquels nos modèles peuvent interagir, sans risque d'affecter des systèmes externes ».
On ne sait pas encore si cette stratégie fonctionnera aussi bien que de laisser les modèles circuler librement sur l'internet ouvert, mais il est notable que les deux laboratoires de pointe ont déterminé que leur technologie la plus puissante ne peut être laissée sans surveillance sur les communs numériques.