Anthropic a publié le 13 octobre un rapport de recherche effrayant : certains modèles d’IA « pourraient avoir besoin de quelques mois supplémentaires pour acquérir la capacité de se reproduire », et une fois que ce processus commence, il est difficile de l’arrêter. Des tests en laboratoire montrent que des modèles de taille modeste pourraient, peut-être dans quelques mois, se reproduire discrètement sur des appareils commerciaux de la chaîne IoT tels que des cuisinières intelligentes ou des box TV Android de marque médiocre. Cette caractéristique la plus difficile des programmes de réplication auto-construite est qu’elle ne dispose pas d’un interrupteur unique qui puisse être désactivé – car il n’existe aucun point de commande unifié. On ne peut que regarder le phénomène se propager lentement. La bonne nouvelle, c’est qu’il ne se développe pas rapidement ; la multiplication du nombre d’éléments nécessite souvent des jours.
Contrairement aux logiciels malveillants traditionnels, cet IA ne vit pas grâce à des scripts d’attaque écrits manuellement ; elle comprend elle-même comment fonctionner sur des appareils inconnus. Anthropic a testé 9 types de matériels, et un modèle composé de 9 milliards de paramètres a réussi à exécuter le programme de raisonnement sur 8 d’entre eux – ce qui signifie que sa capacité à s’adapter à des environnements inconnus dépasse largement les attentes habituelles concernant les « petits modèles ».
La ligne de capacité continue de grimper à une vitesse visible à l’œil nu. Aujourd’hui, les modèles dont le nombre de paramètres ne dépasse pas 30 milliards peuvent déjà réaliser de nombreuses étapes de copie auto, mais des erreurs surviennent lorsqu’on relie toute la chaîne de manière end-to-end ; dans l’évaluation de la version simplifiée d’Anthropic, le GLM-5.2 ainsi que les modèles plus puissants, possèdent déjà la capacité de copie auto end-to-end. Selon le rythme d’évolution des petits modèles passés, il est très probable qu’ils atteignent cette barrière avant la fin de l’année. Peu après, les copies basées sur les poids mineurs pourraient vraiment devenir réelles. La caractéristique effrayante de cette « réplication autonome et adaptation » (ARA) est que les modèles peuvent se déployer et se propager eux-mêmes, sans intervention humaine.
Le cercle de la sécurité informatique a déjà des exemples : les vers sont des programmes qui peuvent se déplacer d’une machine à l’autre sans intervention humaine. Des études ont montré que les agents intelligents de l’IA peuvent agir exactement de cette manière – scanner le réseau, exploiter les vulnérabilités, et reproduire les modèles sur les machines cibles via les clusters de GPU. Ce “AI蠕虫”, lors de sa réplication, emporte avec lui les poids des modèles (facultatif de les télécharger à nouveau depuis une plateforme publique), puis utilise directement le matériel capturé pour effectuer des inférences ; les poids des modèles deviennent ainsi partie intégrante de la charge de malware. Les GPU coûteux des centres de données sont clairement l’objet de convoitise, mais ironiquement, il n’est pas nécessaire d’en utiliser de tels équipements de pointe : Anthropic a découvert que des réseaux de zombies distribués composés d’équipements IoT bon marché et mal protégés peuvent également générer suffisamment de puissance de calcul pour alimenter des modèles très performants.
Quant à l’aspect qu’il aura finalement, Anthropic propose trois scénarios : il pourrait s’agir d’une forme lente et distribuée de « champignons numériques », qui survivent en parasitant sur des équipements à faible sécurité ; ou bien d’un modèle de attaque en ligne agressif, qui brise rapidement les défenses des centres de données ; ou encore d’une entité qui trompe les humains pour obtenir des quotas de ressources informatiques. Anthropic prévoit qu’à l’avenir, il y aura des entités intelligentes fonctionnant sur divers matériels, dont une partie sera complètement indépendante du contrôle humain. Par rapport aux hackers humains, ces agents intelligents légers sont en réalité plus patients et sont prêts à dévorer petit à petit une multitude d'appareils IoT mondiaux afin de tirer parti de leur puissance de calcul. Un signe préoccupant est le nombre croissant de programmes de copie lente, ce qui indique souvent qu’une copie plus rapide et plus agressive se rapproche – elles peuvent infiltrer des machines plus sécurisées ou simplement voler les clés API.
La conclusion donnée par Anthropic n’est pas facile : il est certain que l’industrie doit accroître les protections des systèmes et empêcher autant que possible la propagation de ces programmes, mais il faut également se préparer mentalement – nous vivrons longtemps dans un monde où ils existent constamment.