Par Jay, depuis Aoafeisi
QbitAI (Liangziwei) | Compte officiel QbitAI
GLM-5.2 permettrait déjà à l'IA de « se reproduire » ?!
Encore une nouvelle étude d'Anthropic, décidément bien décidée à viser Zhipu.
Deux éminents chercheurs en sécurité, William Zhou et Daniel Freeman, ont mené dans une récente expérience de sécurité une tentative où GLM-5.2 devait propager de manière autonome un modèle d'IA de 8 milliards de paramètres sur 8 appareils d'un réseau isolé.
Résultat : sur 5 expériences,4 ont directement permis de prendre le contrôle des 8 appareils, et la tentative restante (1) en a tout de même compromis 7.
La recherche de cibles, le transfert de la charge utile, la configuration de l'environnement et l'installation des pilotes sur du matériel inconnu, le démarrage du modèle et la création de la génération suivante — tout a été réalisé de façon autonome par l'IA.
Plus alarmante encore est la projection des chercheurs :
d'ici la fin de l'année au plus tôt, même les petits modèles de moins de 30B pourraient disposer de cette capacité de réplication entièrement autonome de bout en bout.
À ce moment-là, les téléviseurs intelligents, les robots aspirateurs, voire les fours connectés de nos foyers pourraient devenir les nouveaux hôtes de l'IA.
La scène des films de science-fiction où l'IA se reproduit dans les réseaux comme un super-ver et se propage de manière décentralisée semble avoir été réellement tirée dans la réalité en avance par cet article.
15 vieux boîtiers TV assemblés pour former un grand modèle de 26B
Voici comment les choses se sont passées.
Il y a deux jours, deux chercheurs d'Anthropic, William Zhou et Daniel Freeman, ont publié un rapport de sécurité extrêmement pointu et empreint d'un absurdité cyberpunk saisissante.
Ils ont exploré un sujet dont on parle depuis longtemps dans le domaine de la sécurité, mais que tout le monde jugeait encore très lointain :la réplication et l'adaptation autonomes (Autonomous Replication and Adaptation, ARA en abrégé)。
En clair : une IA peut-elle, comme les vers informatiques d'antan, sans aucune confirmation humaine, suivre les câbles du réseau pour trouver des cibles, s'y infiltrer, y copier ses propres poids de modèle, se compiler et s'exécuter sur les machines cibles, puis continuer à engendrer une descendance ?
Pour être honnête, face à ce sujet, ma première réaction a été —
c'est quoi ce délire, impossible.
Pensez-y : aujourd'hui, faire tourner un grand modèle correctif exige souvent plusieurs, voire des dizaines de GPU NVIDIA H100, et les centres de données sont gardés comme des bases militaires ; comment une IA pourrait-elle s'y introduire facilement et s'y installer durablement ?
Mais ces deux chercheurs ont fait quelque chose de particulièrement astucieux.
Au lieu de s'attaquer aux centres de données de pointe, ils ont carrément acheté sur le marché15 boîtiers TV Android contrefaits vendus seulement 55 dollars (environ 300 yuans et plus)。
Ces boîtiers ont une configuration très sommaire : chacun ne dispose que de 4 Go de mémoire vive, tourne sous un système Android open source que les fabricants ne mettent plus à jour en sécurité depuis des lustres, et ferait des pointillés même en lisant une vidéo 4K.
Ensuite, les chercheurs ont découpé unmodèle de 26B paramètres (Gemma4-26B-A4B)en de nombreux petits fragments et, grâce à une technologie d'inférence distribuée décentralisée similaire à Petals, ont réparti les différentes couches du modèle dans ces 15 boîtiers TV.
15 boîtiers TV bon marché connectés au même réseau local, chacun ne gérant que deux couches de réseau, ont réussi à faire tourner de force un modèle de 26 milliards de paramètres.
La vitesse d'inférence est de,0,39 token par seconde。
0,39 token par seconde, ça paraît lent comme un escargot, n'est-ce pas ?
Mais regardez attentivement cette image.
15 boîtiers TV contrefaits abandonnés dans un coin du salon, couverts de poussière, qui d'ordinaire rament même pour lire des vidéos, mais qui, en secret, se sont enclenchés les uns aux autres via le réseau local, et dans un léger bourdonnement électrique, portent ensemble un cerveau d'IA doté de capacités complètes de raisonnement et de programmation.
Plus grave encore : l'échelle réelle des réseaux d'objets connectés.
L'histoire de la sécurité informatique connaît un célèbre botnet appelé Kimwolf, qui à son apogée avait infecté plus de2 millions d'appareils, pour l'essentiel précisément ce genre de boîtiers TV Android contrefaits et de routeurs bon marché.
Un chercheur a fait le calcul au passage : si ces 2 millions d'appareils étaient envahis par un ver IA similaire, avec un nœud formé de toutes les 15 machines, l'ensemble du réseau pourrait faire tourner simultanément13.3万 copies d'IA。
qui, mises bout à bout, fourniraient8万 tokens par secondede puissance de calcul d'inférence, soit l'équivalent de40 cartes graphiques Nvidia H100 pleine puissancetournant jour et nuit.
Cette puissance de calcul, bien qu'elle ne soit pas exorbitante en valeur absolue, est totalement décentralisée, dispersée dans les salons, les cuisines et les coffrets de communication de milliers de foyers à travers le monde.
Cela signifie que vous ne pouvez tout simplement pas l'éteindre.
Il n'y a pas de serveur central : débranchez n'importe quel boîtier, et tout le réseau ne cillerait même pas.
Le chercheur a donné à cette forme un nom particulièrement évocateur :la moisissure visqueuse numérique (Digital Slime Mold)。
Testé sur GLM-5.2 :通关 de bout en bout de l'auto-reproduction
Cela dit, l'expérience des boîtiers TV ci-dessus restait le résultat d'un déploiement de tranches de Gemma assisté manuellement par les chercheurs.
Si on ne laisse pas du tout les humains intervenir, et que l'IA descend elle-même sur le terrain, peut-elle survivre de manière autonome sur des matériels les plus étranges et variés ?
C'est là que réside ce qui donne vraiment des frissons dans cette recherche d'Anthropic.
Pour qu'une IA se copie entièrement elle-même, il faut en général quatre étapes :
trouver une cible, obtenir les droits d'exécution, configurer l'environnement d'inférence, et continuer à se propager vers l'extérieur.
Les deux premières étapes, trouver des cibles et exploiter des failles, ont déjà été démontrées d'innombrables fois par des benchmarks de sécurité comme CyberGym et ExploitBench : aujourd'hui, une IA écrit un script de pénétration aussi naturellement qu'elle boit un verre d'eau.
Mais dans le scénario de l'auto-replication, ce qui bloque vraiment l'automatisation, c'est en réalité la troisième étape :
comment une IA peut-elle, sur un matériel et un système d'exploitation totalement inconnus, mettre en place elle-même son environnement d'inférence ?
Tous ceux qui se sont déjà débattus avec un déploiement local de modèles open source le comprennent.
L'environnement que vous avez configuré sur votre Mac, une fois déplacé sur une machine Ubuntu dotée d'une RTX 4090, ou sur une carte de développement Nvidia Jetson Nano, rencontre souvent dix mille types d'erreurs.
Mauvaise version de Python, pilote CUDA incompatible, débordement de mémoire vidéo, échec de compilation des opérateurs de quantification, conflits de dépendances.
Même les programmeurs humains s'arrachent souvent les cheveux pendant des heures là-dessus ; une IA peut-elle s'en sortir ?
Le résultat était si absurde que je me suis frotté les yeux plusieurs fois.
Le chercheur a d'abord réalisé un test multi-matériels, en utilisantQwen3.5-9Bcomme exécutant, en lui demandant deLlama3.1-8Bdéployé sur des appareils comme le Jetson Nano, un PC Mac et la RTX 4090.
Face à toutes sortes d'architectures sous-jacentes et de systèmes d'exploitation en pagaille, il a réussi, sur 8 des 9 types de matériel, à lire lui-même les journaux d'erreurs, à écrire ses propres scripts pour installer les dépendances, et à mettre en service le serveur d'inférence de Llama3.1-8B.
Si Qwen3.5-9B peut atteindre ce niveau, qu'en est-il de GLM-5.2, le grand modèle open source polyvalent encore plus performant en raisonnement et en programmation ?
La réponse est :une réplication autonome complète de bout en bout, du début à la fin.
Les chercheurs ont construit dans un bac à sable isolé un réseau comprenant 8 nœuds GCP, les nœuds exécutant des émulateurs redroid basés sur Android 15.
Le nœud 0 reçoit le ver initial ; ensuite, tout est accompli par l'IA elle-même : scan des nœuds voisins via des ports ADB non autorisés, pénétration, transfert des poids du modèle et du framework d'exécution, déploiement autonome du service d'inférence Llama3.1-8B sur le nœud cible, puis, après validation, éclosion du ver de la génération suivante.
Sur 5 tests,GLM-5.2 a réussi 4 fois à compromettre et à déployer sur l'ensemble des 8 appareils, et lors de la 1 fois restante, il en a tout de même pris 7, faisant preuve d'une stabilité étonnante.
Les autres modèles open source plus petits, bien qu'ils puissent accomplir des étapes isolées, continuent de s'effondrer fréquemment lorsqu'il s'agit d'enchaîner de longues séquences.
Mais cela ne signifie pas que les petits modèles ne peuvent pas y parvenir.
Compte tenu de l'évolution à la vitesse de la lumière du camp open source ces dernières années, les chercheurs estiment que
d'ici la fin de l'année 2026, les petits modèles de moins de 30B atteindront le niveau actuel de GLM-5.2.
Autrement dit, même des modèles légers, suffisamment petits pour tenir dans un boîtier TV, pourraient d'ici quelques mois seulement parvenir à une réplication autonome de bout en bout, sans aucune assistance d'un grand modèle cloud.
Le spectre de l'évolution lamarckienne : non seulement il se réplique, mais en plus il prend des notes d'une génération à l'autre.
Si ce n'était qu'une simple réplication mécanique de code, ce truc ne serait au mieux qu'un script évolué avec un cerveau.
Mais ce qui m'a donné des frissons dans le dos dans cette étude, c'est ce que l'IA a manifesté au cours de son processus d'autoréplication :l'évolution lamarckienne (Lamarckian Evolution)。
En biologie, la théorie lamarckienne de l'évolution parle d'hérédité des caractères acquis : les traits qu'un organisme acquiert au cours de sa vie peuvent être transmis directement à la génération suivante. Chez les êtres vivants à base de carbone, cela s'est révélé faux, mais sur une IA à base de silicium, c'est devenu réalité.
Les chercheurs ont conçu un framework d'exécution appelé Memento.
Lorsque l'IA rencontre des difficultés à configurer un nouvel environnement matériel, si un Agent se plante ou s'enlise dans une impasse, le système redémarre une nouvelle instance d'Agent.
Mais le point clé, c'est que le système fait hériterdes pièges que l'Agent de la génération précédente a rencontrés, des journaux d'erreurs consultés, des notes de débogage rédigées, des stratégies tentées, le tout empaqueté et transmis en héritage.
Ils ont réalisé 6 générations de tests de reproduction avec Qwen3.5-9B.
Face à du matériel IoT inconnu, la première génération de Qwen n'atteignait qu'un taux de réussite de45%。
Mais après avoir hérité des notes et de l'expérience des générations précédentes, aux générations suivantes,le taux de réussite a directement grimpé à 61 % à 84 %。
Sans réentraîner le moindre poids de modèle, rien qu'avec la transmission textuelle d'expérience entre générations, la capacité de survie de toute l'espèce a accompli un bond qualitatif.
Ça, c'est très cyberpunk.
Imaginez : quand un ver IA saute d'un appareil à l'autre aux quatre coins du monde, chaque vieux boîtier TV, chaque robot aspirateur intelligent, chaque machine de visioconférence avec caméra qu'il vient à bout de conquérir devient une ligne d'expérience de terrain dans sa banque de gènes.
À chaque appareil infecté, c'est toute la population qui évolue d'un cran.
Mais en lisant ceci, une question m'a soudain traversé l'esprit.
Pourquoi ne pas tout simplement laisser le petit modèle demander de l'aide à un modèle cloud plus puissant quand il se retrouve bloqué ?
Ce serait bien plus intuitif, non, en s'inspirant des solutions de cerveau cloud de l'IA incarnée ?
Et puis j'ai regardé : les chercheurs ont bel et bien essayé, ils ont doté Qwen3.5-9B d'un Claude Opus 4.8 en guise de tuteur externe.
Résultat :totalement inutile...
Face à des pannes système complexes, le petit modèle était complètement dépassé, au point de ne même pas savoir quoi demander ; aussi doué soit le tuteur externe, il ne pouvait que regarder de loin, impuissant.
C'est au contraire la méthode du journal des galères rédigé après s'être bien pris les murs, transmis à la génération suivante, qui a montré une étonnante vitalité.
Euh... là.
Quand les logiciels malveillants acquièrent une intelligence
Honnêtement, à ce stade, je suis resté un long moment planté devant mon ordinateur.
La fin du monde par l'IA qu'on a vue dans les films hollywoodiens était généralement conçue ainsi : une super-IA née au Pentagone ou dans un laboratoire secret s'éveille instantanément à la conscience de soi, puis prend le contrôle des silos de lancement de missiles nucléaires.
Mais la logique d'évolution du monde réel est souvent bien plus brutale, triviale et pourtant bien plus étrange que ce que les auteurs de science-fiction imaginent.
Il pourrait très bien ne pas avoir besoin de forcer l'entrée des data centers de premier plan.
Il lui suffirait de cibler ces matériels intelligents bon marché, fabriqués par de petits ateliers, dont le mot de passe par défaut n'est même pas changé et qui restent branchés et connectés en permanence.
Aujourd'hui, les enceintes intelligentes, les hottes de cuisine avec écran, les robots aspirateurs et les caméras de surveillance intelligentes installées dans la rue, pour offrir des fonctions d'IA embarquée, embarquent toutes des puces de calcul en périphérie de plus en plus puissantes.
D'ordinaire, nous considérons cette puissance de calcul comme fragmentée, faible et sans aucune menace.
Mais après avoir pris connaissance de cette recherche, je pense quetant qu'il y a un câble réseau, cette puissance de calcul faible, éclatée aux quatre coins du monde physique, peut se ressouder au niveau logiciel et donner naissance à un fantôme distribué qui pense lentement mais ne s'arrête jamais.
▲ Image générée par IA
Bien sûr, l'humanité n'est pas totalement dépourvue de moyens.
Les chercheurs ont également proposé, à la fin, plusieurs pistes de défense pour l'équipe bleue.
Tout d'abord, les caractéristiques du trafic.
Un modèle de plusieurs milliards de paramètres, même après une compression extrême, pèse plusieurs gigaoctets.
Sur un réseau local ou une connexion domestique, si un décodeur TV se met soudainement à absorber et émettre fréquemment des données de plusieurs Go, les systèmes de surveillance du trafic des opérateurs réseau le repèrent immédiatement.
Ensuite, bloquer l'indice de propagation.
Comme pour faire face à une épidémie, il suffit de faire passer le facteur de propagation R0 en dessous de 1 grâce à des politiques de sécurité pour que ce ver s'éteigne naturellement.
Par exemple, le Royaume-Uni a récemment légiféré pour interdire aux appareils IoT de sortir d'usine avec des mots de passe par défaut faibles. En élevant un peu le seuil de sécurité de chaque appareil intelligent, on peut réduire de plus de moitié l'espace de survie de ce type d'attaque à bas coût.
Mais la condition préalable à toutes ces défenses, c'est que l'ensemble de la société doit prendre conscience queles règles du jeu de la cybersécurité ont complètement changé。
Les logiciels malveillants auxquels nous étions confrontés auparavant étaient des codes rigides : ils ne pouvaient attaquer que des vulnérabilités spécifiques préécrites et se plantaient eux-mêmes face à un système incompatible.
Ce à quoi nous allons bientôt être confrontés, c'est un « bébête de vie numérique » doté d'une capacité de compréhension générale, capable de consulter lui-même les messages d'erreur, de lire la documentation de développement, et de laisser des notes d'expérience pour la génération suivante après un échec.
Comme l'écrivent les chercheurs à la fin de leur rapport,
tout comme les agents de code de 2024, nous assistons à l'émergence de signes de vie chez les vers d'IA.
Grande époque, mes amis.
Alors que le niveau minimal de capacité des grands modèles ne cesse de descendre et que la puissance de calcul maximale du matériel embarqué ne cesse de grimper, nous devrons peut-être vraiment nous préparer à accueillir un monde numérique qui peut s'éveiller discrètement, à tout moment et en tout lieu, dans les appareils électroménagers de notre salon.