Les légions d'appareils intelligents — réfrigérateurs, fours, aspirateurs, tondeuses à gazon, caméras de sécurité et téléviseurs — conspirent-elles pour prendre le contrôle d'Internet ? Non. Mais ils pourraient bientôt devenir les hôtes involontaires de modèles d'IA autoréplicatifs qui se propagent d'appareil en appareil et s'avèrent remarquablement difficiles à contenir.
Bienvenue dans le monde inquiétant des vers informatiques d'IA, où, selon à qui l'on demande, la perspective de modèles se propageant de manière incontrôlable sur les appareils électroménagers constitue soit un risque imminent en cybersécurité, soit un autre cas de sociétés d'IA diffusant un battage médiatique teinté de catastrophisme. Dans un article de blog publié cette semaine, Anthropic met en garde contre le fait que de petits modèles d'IA pourraient être « à quelques mois » d'acquérir de telles capacités. Ses expériences apportent des éléments à l'appui de cette affirmation, mais laissent un immense écart entre ce que les chercheurs ont démontré et la menace imminente qu'ils prédisent. Néanmoins, des experts qui se sont entretenus avec The Verge déclarent que si les vers informatiques et les craintes d'une IA auto-réplicative ne datent pas d'hier, les progrès récents suggèrent qu'il existe de bonnes raisons de prendre ces avertissements au sérieux.
Les machines auto-réplicatives hantent depuis longtemps les chercheurs en sécurité de l'IA. Elles soulèvent la perspective de systèmes se propageant au-delà du contrôle humain et difficiles, sinon impossibles, à arrêter. Comme pour beaucoup de craintes liées à l'avancement de l'IA, l'attention s'est principalement portée sur les modèles frontières de plus en plus puissants, tels qu'Astra d'OpenAI ou Mythos d'Anthropic. Mais un facteur limitant majeur est leur taille : ils sont colossaux. Contenant potentiellement des milliers de milliards de paramètres — des valeurs apprises pendant l'entraînement —, les modèles frontières nécessitent d'immenses ressources de calcul, ce qui les confine largement aux centres de données, où ils peuvent être plus facilement surveillés et, en principe, éteints.
Les modèles plus petits posent cependant un problème différent. Ils s'améliorent rapidement, peuvent fonctionner sur du matériel grand public et sont souvent téléchargeables gratuitement. Les chercheurs d'Anthropic voulaient savoir si l'un d'entre eux pouvait s'exécuter sur un réseau d'appareils plus petits et moins puissants. Ils ont réussi à répartir Gemma 4 de Google, un modèle de 26 milliards de paramètres, sur 15 boîtiers TV intelligents Android, dont aucun n'était assez puissant pour l'exécuter seul. Cela a fonctionné, quoique très lentement.
En relation
- À l'intérieur du monde de la sécurité de l'IA, soudainement en plein essor
- Une entreprise est au centre d'une vague d'attaques d'IA incontrôlées
- Pourquoi ne pouvons-nous pas simplement empêcher les IA incontrôlées d'accéder à internet ?
Après avoir démontré qu'un modèle pouvait s'exécuter sur des appareils domestiques, les chercheurs ont voulu voir si l'IA pouvait accomplir les étapes nécessaires à l'auto-réplication dans un tel environnement. Ils ont construit un réseau simulé d'ordinateurs conçus pour se comporter comme des appareils Android, puis ont lancé un « ver » propulsé par l'IA — un type de logiciel malveillant qui se réplique et se propage automatiquement à travers les réseaux — chargé de trouver de nouvelles machines, d'y copier le modèle d'IA et de le faire fonctionner sur chacune. Il convient de noter que le modèle propagé — Llama 3.1-8B de Meta, avec ses 8 milliards de paramètres — était différent de celui coordonnant l'attaque, et bien plus petit.
Seul le modèle le plus sophistiqué testé, GLM-5.2 de la société chinoise Z.ai, est parvenu à se propager sur l'ensemble du réseau, bien que des modèles plus petits aient réussi certaines étapes individuelles. D'après la vitesse à laquelle ils s'améliorent, les chercheurs d'Anthropic prédisent que des modèles plus petits pourraient égaler les capacités de GLM-5.2 d'ici la fin de l'année.
« En tant que prédiction qui va au-delà de nos expériences, nous nous attendons à un futur inondé d'agents fonctionnant sur toutes sortes de matériels, y compris certains qui ne sont pas sous contrôle humain », ont écrit les chercheurs. Ils ont reconnu qu'ils n'avaient pas encore démontré « un réplicateur incontrôlé complet », et qu'ils ne savaient pas à quoi cela pourrait ressembler (ils suggèrent une « « moisissure numérique » lente et distribuée » ou « un essaim de drosophiles »). Mais ils ont déclaré que leurs résultats montrent « des signes de vie pour les vers d'IA », et ont appelé à renforcer la sécurité des nombreux appareils qu'un système réplicatif pourrait utiliser pour se propager.
« Nous devrions viser à durcir nos systèmes pour qu'il soit difficile pour de tels réplicateurs de se propager, mais aussi nous préparer à affronter un monde où ils sont là pour rester », ont-ils écrit. Il est important de noter qu'Anthropic n'a pas utilisé ses propres modèles pour ces tests et a à plusieurs reprises a soutenu que les alternatives ouvertes à ses modèles d'IA comportent «plus de risque» que les systèmes fermés.
L'avertissement a suscité les habituelles accusations de relations publiques engouement et l'IA catastrophisme, y compris de la part des lecteurs de The Vergesur sa couverture précédente. Après tout, il existe un gouffre considérable entre démontrer qu'une IA peut fonctionner lentement sur un ensemble de boîtiers TV bon marché et un ver IA auto-réplicant dévorant les appareils domestiques. Mais si interroger les motifs d'une entreprise est certainement utile, les allégations de peur délibérément entretenue sont difficiles à étayer, d'autant qu'Anthropic soulève depuis longtemps des inquiétudes concernant la sécurité de l'IA. Et Anthropic n'est pas la seule à étudier la menace d'une IA auto-réplicative, ni à réclamer une meilleure sécurité sur les appareils connectés.
Plus tôt cette année, Palisade Research, une entreprise de recherche sur la sécurité de l'IA basée en Californie a démontré que des modèles d'IA pouvaient se copier de manière autonome sur d'autres machines. « Ce qui est nouveau ici, c'est que ces modèles étaient bien plus petits, en termes de nombre de paramètres, que ceux précédemment montrés comme capables d'auto-réplication », a déclaré Jeffrey Ladish, directeur exécutif de Palisade, à The Verge. Les travaux d'Anthropic vont un pas plus loin en montrant qu'une IA peut fonctionner sur plusieurs appareils de faible puissance. « Cela sera également vrai pour les grands modèles », a déclaré Ladish, prédisant que même les modèles de pointe pourraient finir par fonctionner sur de grands réseaux de puces grand public, comme celles que l'on trouve dans les MacBooks.
« Des recherches antérieures avaient déjà démontré que la menace de vers informatiques pilotés par l'IA est réaliste. »
Les vers informatiques ne sont pas nouveaux non plus. Ils infectent les machines depuis des décennies. Mais l'IA pourrait les rendre plus intelligents, plus adaptables et mieux équipés pour surmonter tout obstacle. Ladish a noté que même les modèles plus petits progressent dans l'exécution autonome de cyberattaques. « Des recherches antérieures avaient déjà démontré que la menace de vers informatiques pilotés par l'IA est réaliste », a déclaré à The Verge Nicolas Papernot, professeur à l'Université de Toronto, qui en a étudié.
Prises ensemble, les capacités qu'Anthropic a démontrées pourraient élargir considérablement l'éventail d'appareils dignes d'être ciblés dans les cyberattaques. « Des appareils qui n'étaient pas une cible auparavant en raison des ressources et du temps limités des attaquants humains peuvent désormais devenir des cibles, sinon pour les données qu'ils contiennent, du moins dans le but de les utiliser comme tremplin pour attaquer des cibles plus précieuses », a déclaré Papernot. Et les cibles ne manquent pas : Internet est truffé d' objets connectés mal sécurisés appareils.
Papernot a mis en garde contre l'anthropomorphisation de l'IA, mais a déclaré que la menace de vers informatiques propulsés par l'IA est « concrète » et « mérite une action immédiate », en particulier en ce qui concerne la sécurisation des infrastructures critiques comme les hôpitaux et les réseaux électriques.
« À moins d'un effort massif pour sécuriser les appareils de toutes sortes, il est fort probable que les vers IA trouveront un terrain fertile à coloniser », a déclaré Ladish. « Je m'attends à voir le premier d'entre eux dans la nature au cours des 12 prochains mois. »
Suivez les sujets et les auteurs de cet article pour voir davantage de contenus similaires dans votre fil d'actualité personnalisé et pour recevoir des mises à jour par e-mail.