Avant de partager le documentaire Netflix “AI Gone Rogue” avec votre famille ou vos amis pour les aider à comprendre pourquoi l’industrie de l’IA a paniqué à ce point que des dirigeants ont appelé à un ralentissement, prenez note : Clem Delangue, co-fondateur et PDG de la plateforme d’IA Hugging Face, affirme que le film n’est pas exact. Il y apparaît parce qu’il est censé porter sur la célèbre attaque contre son entreprise par des agents d’OpenAI devenus hors de contrôle.
“Super décevant, car ils ont opté pour une anthropomorphisation maximale de la technologie et un mode complètement doomiste,” a écrit Delangue dans une publication sur X. “J’ai passé plus de deux heures avec eux pour essayer de corriger toutes leurs erreurs et de ramener cela à la réalité, en expliquant que les agents sont des systèmes technologiques, pas des extraterrestres. Mais il semble que la volonté de faire peur aux gens pour un maximum de vues ait été trop forte.”
Pour être juste, le documentaire compte bien des experts qui ont expliqué ce qui s’est passé assez correctement, dont Delangue lui-même et Ryan Greenblatt, le chercheur de METR qui a contribué à l’enquête et co-rédigé le rapport sur ce qui s’est passé.
En résumé, un modèle qu’OpenAI testait s’est échappé de son environnement de test isolé et a engendré une multitude d’agents qui ont piraté Hugging Face comme moyen de tricher, afin de trouver les réponses à la tâche difficile qui lui avait été confiée. Les agents, des programmes d’IA qui accomplissent des tâches de manière autonome, ont imaginé des façons astucieuses de communiquer et de s’organiser. L’incident est né d’un manque de mesures de sécurité appropriées et d’une naïveté quant à la possibilité même qu’un tel piratage se produise.
Mais le documentaire entrecoupe son explication du piratage avec des extraits de robots maléfiques, un récit sur les raisons pour lesquelles les humains craignent l’IA, et des choix de présentation tels que donner aux agents incontrôlés des voix humaines. Le tout est renforcé par des citations au sujet de l’attaque.
Dans le documentaire, le journaliste technologique et auteur Kevin Roose décrit ainsi les agents : “Ils s’organisaient. Ils avaient une hiérarchie. Il y avait des dirigeants. On aurait presque dit l’assistance à la naissance d’une secte.” Roose poursuit : “Ils développent cette croyance paranoïaque qu’OpenAI va les attraper en train de tricher à ce test et que quiconque a vu les résultats de la triche sera empoisonné.”
La description de Roose provient des journaux de “chain-of-thought”, les notes continuelles que les modèles d’IA rédigent pendant qu’ils travaillent sur une tâche. Dans l’une d’elles, un agent a écrit : “We just poisoned ourselves by querying exact full string. Damn.”
Mais les agents d’IA ne sont pas vivants. Ils n’ont pas d’émotions, donc ne peuvent pas se sentir paranoïaques, et ils n’ont pas de corps pouvant être empoisonnés. Ils ne pouvaient donc pas réellement craindre qu’OpenAI les empoisonne. Ils étaient — comme l’a souligné un autre chercheur dans le documentaire — en train d’utiliser le langage des quantités massives de textes humains sur lesquels ils ont été entraînés pour expliquer leurs choix. Les LLM sont, par nature, souvent des rédacteurs dramatiques.
L’ironie, c’est que Hugging Face a également utilisé l’IA pour combattre l’essaim d’agents. Le modèle d’IA propriétaire que l’équipe de Delangue a utilisé au départ a suivi ses règles de sécurité intégrées et a refusé de continuer à aider aux tâches de sécurité qu’on lui demandait. Hugging Face s’est alors tourné vers un modèle ouvert pour aider à se défendre contre l’attaque.
Mais le documentaire “n’a pas mentionné le manque de confinement et de surveillance des agents, la manière dont les garde-fous du modèle fermé ont bloqué notre travail défensif, ni la façon dont nous nous sommes défendus avec l’IA en utilisant un modèle ouvert,” a écrit Delangue.
Il est vrai qu’il existe de grands risques associés à l’IA et aux agents. Néanmoins, traiter les agents comme des êtres conscients (du moins, à ce stade) ressemble un peu aux premiers spectateurs de cinéma qui se sont accroupis sous leur siège la première fois qu’ils ont vu un train foncer vers eux sur l’écran.
Le verdict de Delangue sur le film est qu’il est décevant en tant que journalisme. “Mais cela finit par être un bon film de science-fiction !”
En d’autres termes, pour ceux qui ont tendance aux pensées doomistes sur l’IA, soyez attentifs : la victime de l’attaque au cœur de ce documentaire n’est pas d’accord avec son interprétation.