Anthropic a récemment publié sur son site officiel un rapport de recherche inquiétant : les modèles d'IA pourraient, d'ici quelques mois, acquérir la capacité de se reproduire eux-mêmes, et une fois déployés, il deviendrait très difficile de les couper complètement. La raison est simple : ces programmes n'ont aucun nœud central permettant de les éteindre, et se dispersent comme des mauvaises herbes un peu partout.
Encore plus problématique : leurs points d'ancrage. Les expériences montrent qu'un modèle de seulement 9 milliards de paramètres peut déjà exécuter l'inférence sur 8 des 9 types de matériel testés, y compris des appareils IoT grand public comme des fours intelligents ou des boîtiers Android TV bon marché. Peu coûteux et peu protégés, ces appareils deviennent un terreau fertile pour des parasites façon « slime numérique ». Anthropic estime qu'actuellement, les modèles de moins de 30 milliards de paramètres peuvent accomplir nombre d'actions individuelles nécessaires à l'autoreproduction, mais échouent souvent lorsqu'il s'agit de les enchaîner de bout en bout ; or, dans des évaluations simplifiées, GLM-5.2 et les modèles plus puissants ont déjà franchi toute la chaîne. Au rythme d'évolution passé, les petits modèles pourraient atteindre ce seuil d'ici la fin de l'année, et des répliques à petits poids pourraient alors rapidement devenir réalité.
Quand l'ARA devient réalité, l'industrie devra apprendre à vivre avec le risque
Ce phénomène, appelé « réplication et adaptation autonomes (ARA) », s'apparente aux vers informatiques de la cybersécurité : sans intervention humaine, ils scannent les réseaux, exploitent les vulnérabilités et copient les poids du modèle vers la machine cible. La différence, c'est que l'IA peut non seulement transporter ses propres poids, mais aussi apprendre sur le terrain pour fonctionner sur des équipements inconnus. Les GPU des centres de données sont certes des cibles de choix, mais des botnets IoT distribués peuvent également nourrir des modèles assez performants.
Anthropic souligne qu'aucun programme réellement hors de contrôle et totalement autonome dans sa reproduction n'a encore été observé, mais les agents s'améliorent sans cesse et transmettent leurs adaptations aux générations suivantes de copies. L'entreprise prédit que l'avenir sera envahi d'agents échappant au contrôle humain — qu'il s'agisse de « slimes numériques » parasites à l'action lente, de modèles agressifs s'attaquant aux centres de données, voire de variantes trompant les humains pour obtenir de la puissance de calcul. Un signal alarmant à surveiller : la multiplication continue de programmes à reproduction lente annonce souvent l'arrivée imminente de versions plus rapides et plus redoutables. Anthropic recommande à l'industrie de renforcer ses systèmes et de bloquer au maximum la propagation, tout en se préparant à un monde où « elles existeront durablement ».