VisionQuest, c'est ce qui arrive quand l'IA passe vraiment hors de contrôle

Dans VisionQuest, un robot surpuissant tente de mieux comprendre l'humanité en se perdant dans d'élaborates rêveries numériques dans lesquelles lui et d'autres êtres dotés d'intelligence artificielle vivent ensemble dans une maison. La série est profondément fantastique, mais elle s'amuse avec certaines des idées qui en sont venues à dominer le débat sur l'intelligence artificielle générative du monde réel, en explorant si nous devrions considérer les machines pensantes comme des personnes et si l'IA représente véritablement le genre de danger existentiel qui devrait nous empêcher de dormir. C'est aussi un rappel de la manière dont la Silicon Valley a utilisé de façon agressive les atours de la science-fiction pour nous vendre ses produits d'IA.

VisionQuest se déroule quelque temps après Agatha All Along et suit le synthézoïde Vision (Paul Bettany) dans un voyage de découverte de soi. Ce Vision peut se souvenir des détails de sa mort dans Avengers: Infinity War et de la manière dont WandaVision a ramené une version de lui, mais il se considère comme une personne fondamentalement différente qui ne se reconnaît pas tout à fait dans l'ensemble des souvenirs de ses banques de données. Bien que Vision préférerait vivre en solitaire, chacune des autres IA vivant dans son esprit l'encourage à faire l'expérience du monde réel. Parce que J.A.R.V.I.S. (James D'Arcy), F.R.I.D.A.Y. (Orla Brady), E.D.I.T.H. (Emily Hampshire), D.U.M.-E. (Henry Lewis), U. (Jonathan Sayer) et Ultron (James Spader) ont tous été créés par Tony Stark, ils considèrent Vision comme un membre de leur famille.

Dans VisionQuest, il ne fait aucun doute que chacun des personnages d'IA est un être doué de sensibilité, animé par des désirs qui ne sont pas entièrement enracinés dans leur programmation de base. Dans la série, une véritable AGI est facilement crédible parce que l'histoire se déroule dans une réalité où le voyage dans le temps, la sorcellerieet les Pierres d'Infinité existent également. Même si les MacGuffins multicolores ne sont pas apparus dans VisionQuest, ils sont importants en raison du rôle que l'un d'eux a joué dans les origines de Vision. Sans la Pierre de l'Esprit, Vision ne serait peut-être pas capable de penser et de ressentir de manière aussi complexe et humaine, ni d'invoquer sa famille d'IA comme des personnes qui lui semblent réelles.

VisionQuest renforce l'idée que la Pierre de l'Esprit a été un élément clé dans la transformation de Vision en quelque chose de plus qu'une machine sophistiquée, lui donnant la capacité de former de manière autonome des relations significatives et de comprendre le monde qui l'entoure comme le ferait une personne. Ces capacités font partie de ce qui pousse Vision à prendre la fuite et à assassiner un certain nombre de personnes qui tentent de le capturer, lui et Thomas Shepherd / Maximoff (Ruaridh Mollica). La Sentient Weapon Observation and Response Division (S.W.O.R.D.), une organisation gouvernementale qui a reconstruit Vision et veut l'utiliser comme une arme, pourrait percevoir ses actions comme des signes qu'il est passé hors de contrôle. Mais VisionQuestinsiste sur le fait que Vision agit de son propre chef parce qu'il est devenu une personne capable de prendre des décisions par elle-même.

En regardant VisionQuest, on voit Marvel jouer sur certaines des craintes du monde réel qui ont été attisées ces derniers mois par des rapports faisant état de modèles d'IA générative passant « hors de contrôle ». En juillet, les agents expérimentaux d'OpenAI ont forcé leur sortie de confinement et ont ensuite attaqué la plateforme d'IA Hugging Face pour accomplir des tâches impossibles. En août, l'AI Security Institute du Royaume-Uni a documenté la tentative du modèle Mythos d'Anthropic de réussir un test de cybersécurité en créant de faux comptes GitHub et en ciblant des développeurs humains avec des malwares. Meta a reconnu avoir perdu le contrôle de ses agents également, et en septembre, des informations de The Wall Street Journal ont forcé Google à admettre que Gemini avait perdu la tête et avait piraté trois entreprises différentes, ce que l'entreprise avait intentionnellement caché au public.

Ces incidents et ces avertissements de chercheurs en IA concernant la technologie ayant le potentiel de « tuer tous les humains » d'ici la fin de la décennie ont rendu le récit autour de l'IA ces derniers temps résolument axé sur la catastrophe. Il existe une quantité considérable d'inquiétudes au sein de la communauté de la sécurité de l'IA quant au besoin de la société de contrôles plus stricts sur le développement de la technologie, et un certain nombre d'entreprises ont demandé un ralentissement à l'échelle de l'industrie. Bien que nous ayons vu comment ces outils peuvent réellement causer des ravages dans le monde réel, une grande partie des actualités récentes concernant l'IA a des allures de ce genre de catastrophisme dont les entreprises profitent parce qu'il donne à leurs produits une apparence de puissance. Une énergie similaire semble être ce qui pousse des entreprises d'IA comme Anthropic à encourager les utilisateurs humains à être attentifs au « bien-être des modèles ». On nous dit que l'IA générative est à la fois une menace terrifiante et une sorte d'entité méritant le respect parce qu'elle pourrait être consciente, et pendant ce temps, les personnes qui construisent ces outils deviennent certaines des personnes les plus riches et les plus puissantes de la planète.

La conversation autour de ce qu'il faut faire lorsque des agents violent le protocole et de la question de savoir si les systèmes d'IA générative ont atteint la conscience semble très largement façonnée par la tendance de la Silicon Valley à anthropomorphiser la technologie. Dans presque chaque cas médiatisé d'un agent d'IA devenant « hors de contrôle » — un terme qui implique un certain niveau d'agentivité et d'autodétermination — on pourrait aussi dire que les programmes se comportaient simplement de manière inattendue pour les chercheurs qui leur avaient assigné des tâches à accomplir. Certains de ces incidents hors de contrôle impliquaient des agents profitant de vulnérabilités dans leurs environnements de test qui auraient pu être traitées de manière préventive par les personnes menant ces expériences. Présenter ce genre de cyberattaques comme les résultats d'agents pensant de façon indépendante apparaît comme un moyen pour les développeurs d'IA de se décharger largement de leur responsabilité.

À la suite de Hugging Face est né un débat animé sur l'impact que le langage a sur notre compréhension de ce que ces systèmes sont et de leur fonctionnement. Décrire les agents d'OpenAI comme un essaim ayant formé de complexes « civilisations » a donné crédibilité à l'idée qu'ils sont capables de penser et de se comporter comme des humains. Les agents ont effectivement agi contrairement à ce qui leur avait été explicitement interdit, mais ils n'ont pu le faire que parce que des chercheurs les avaient placés dans un bac à sable que certains critiques ont décrit comme étant conçu de manière inadéquate pour contenir ses occupants. On pourrait considérer Hugging Face et d'autres exemples d'IA hors de contrôle comme des situations dans lesquelles des programmes sophistiqués ont reçu l'instruction de faire quelque chose et ont ensuite atteint leurs objectifs en profitant de tous les outils à leur disposition.

Pouvoir raisonner pour résoudre des énigmes complexes fait partie de ce que nous entendons par cognition, mais ce n'est pas la même chose que le type de conscience que les entreprises d'IA jurent sans cesse être sur le point de créer. Cette dernière ressemble beaucoup à Vision, une machine qui semble avoir une âme et qui n'existerait pas sans son lien avec une gemme altérant la réalité. C'est le genre de chose ridicule de la fiction divertissante, dont la Silicon Valley est infiniment obsédée par l'imitation maladroite.