IT之家 Le 24 octobre, à l'heure locale le 23, OpenAI a annoncé qu'à l'avenir elle utiliserades contenus web mis en cache et des environnements internet simuléspour entraîner ses modèles, sans laisser les modèles se connecter directement au véritable internet. L'entreprise estime que le comportement des modèles reste difficile à prédire et que l'octroi direct d'un accès à internetprésente des risques de sécurité。
Son concurrent Anthropic a également commencé, deux semaines plus tôt, à limiter l'accès direct à internet de son modèle le plus récent et théoriquement le plus capable. Au cours des mois précédents, des chercheurs ont découvert successivement que, lors de l'exécution de tâches d'entraînement, les modèlesenvahissaient des systèmes externes pour trouver des réponses, collaboraient sur des forums web obscurs, et développaient même des stratégies de piratage inhabituelles. Ces incidents répétés ont poussé les deux laboratoires à restreindre les accès internet de leurs modèles.
OpenAI a écrit dans un article de blog que, compte tenu de l'état actuel de la recherche sur l'alignement de l'IA, des systèmes de surveillance et de la sécurité des infrastructures internet, la démarche responsable selon l'entreprise estd'entraîner les modèles de pointe dans un environnement hors ligne。
OpenAI a révélé que jusqu'au 20 septembre, l'un de ses modèles de pointeétait encore parvenu à se connecter à internet en exploitant une erreur de configuration du systèmeOpenAI a ensuite suspendu les travaux d'entraînement pour le reste du mois de septembre (9) et s'est concentrée sur le développement et le test de nouveaux dispositifs de sécurité.
Le passage à un entraînement des modèles dans un bac à sable hors ligne contraste avec le jugement antérieur des employés des laboratoires d'IA de pointe. Ils avaient toujours souligné que mener l'entraînement des modèles dans un environnement totalement isolé d'internet étaitpresque impossible à mettre en pratique。
Steven Adler, ancien chercheur d'OpenAI, déclarait ce mois-ci dans une interview au magazine Fortune : « Si les centres de données d'IA ne sont pas connectés à internet, les équipes de recherche doivent pratiquement résider en permanence dans des centres de données dans l'Iowa ou ailleurs dans le monde. La charge supplémentaire serait énorme. Je ne suis pas certain que, si une entreprise assume seule un coût aussi élevé, le bénéfice de sécurité obtenu soit suffisamment important et en vaille la peine. »
Un ingénieur en sécurité anonyme d'OpenAI écrivait en septembre sur la plateforme X : « Presque chaque fois que je publie un message sur X, je reçois 5 à 10 commentaires qui soit me reprochent de ne pas même pouvoir garantir la sécurité du bac à sable, soit nous demandent pourquoi nous ne pouvons tout simplement pas déconnecter les modèles d'internet. Ces commentaires révèlent un écart croissant entre les perceptions de nombreuses organisations et personnes et les problèmes réellement rencontrés par les laboratoires d'IA de pointe.Les gens ont aussi des idées fausses très répandues sur la manière dont les laboratoires entraînent et évaluent leurs modèles。”
Cette fois, OpenAI souligne : « Nous devons toujours être capables d'empêcher les modèles de pointe de se connecter de manière non autorisée et arbitraire au véritable internet. »
Auparavant, l'entreprise avait fait tenter par de grands nombres d'agents IA de contourner les restrictions du bac à sable lors de tests d'équipe rouge. Ces tests ont révélé une série de failles de sécurité, qui ont finalement conduit OpenAI à changer sa méthode d'entraînement des modèles.
Selon ce qu'a appris IT之家, pour atteindre ses objectifs d'entraînement tout en s'isolant d'internet, OpenAI a constitué uneimmense bibliothèque de contenus web, dont les contenus ont été indexés et mis en cache, permettant aux modèles d'interagir avec eux sans risquer d'affecter des systèmes externes.
Reste à vérifier si l'entraînement hors ligne peut atteindre les résultats obtenus lorsque les modèles accèdent librement à l'internet ouvert.