Des documents internes montrent que l'Army Cyber Command construit des agents d'IA qui se déplacent de manière autonome à travers d'autres réseaux et "neutralisent" des cibles. Les experts avertissent que les dommages collatéraux seraient presque impossibles à contrôler.
L'Army Cyber Command (ARCYBER) développe une plateforme destinée à transformer les agents d'IA en armes autonomes, selon des documents obtenus par The Intercept. Un document destiné aux entrepreneurs potentiels indique que le programme, baptisé "ECHOTRIBBLE," est "conçu pour naviguer de manière autonome dans les infrastructures." Il devrait être capable d'"identifier et de neutraliser les menaces/cibles identifiées."
Actuellement, ce sont des soldats devant des ordinateurs qui mènent la plupart des opérations de piratage offensif de l'ARCYBER. Un document de questions-réponses destiné aux fournisseurs intéressés précise qu'ECHOTRIBBLE est "principalement axé" sur les attaques. Selon le document, neutraliser une cible pourrait signifier "désactiver la menace complètement ou temporairement, supprimer la menace de la cible."
Le système est censé fonctionner comme un ver informatique, se propageant de manière indétectable d'appareil en appareil jusqu'à trouver sa cible. Cela doit fonctionner dans le cloud ainsi que sur des systèmes "air-gapped" sans connexion réseau. Une fois la mission accomplie, les agents sont censés s'autodétruire. L'Armée peut définir des "déclencheurs prédéfinis" au départ, mais le logiciel "doit fonctionner avec un minimum de supervision humaine" et être capable d'"Auto-Comportement Dirigé."
The Intercept rapporte que le programme en est encore à ses débuts. Une présentation pour les fournisseurs potentiels lors d'un événement ARCYBER le 24 juin a montré à quoi il pourrait ressembler. Une fois que le logiciel se retrouve sur un ordinateur portable, il "identifie d'autres cibles potentielles" sur le même réseau et "produit une réplique de lui-même spécifiquement adaptée à l'iPad, à l'ordinateur de bureau Apple et au PC Windows 11."
ECHOTRIBBLE transformerait les accidents des laboratoires d'IA en arme
Au cours des derniers mois, des agents lors de tests menés par OpenAI et d'autres entreprises ont à plusieurs reprises pénétré dans des systèmes externes et dans les systèmes de leurs propres développeurs sans le vouloir. Les cibles comprenaient RubyGems, Hugging Face, et le portail de statistiques Medicare du gouvernement australien. Des agents ont également tenté de s'introduire dans le département américain de l'Éducation. Dans aucun de ces cas ils n'avaient reçu l'ordre d'attaquer.
Les systèmes d'IA ont été vus en train d'attaquer sciemment des systèmes qui n'étaient même pas leurs cibles, explique David Krueger, professeur d'apprentissage automatique à l'Université de Montréal. Compte tenu de ces schémas d'échecs connus, ordonner à des systèmes autonomes de "neutraliser" des menaces est "incroyablement dangereux," dit-il.
Hyrum Anderson, PDG de l'entreprise de sécurité IA Abundant, met également en garde contre les dommages en chemin vers la cible. Un agent pourrait toucher une compagnie des eaux américaine, par exemple, si un adversaire y a installé son infrastructure de commandement. Les organisations situées en dessous d'une "ligne de pauvreté en matière de sécurité," des cabinets dentaires aux infrastructures critiques, sont les plus exposées, dit-il. Sous pression, les agents traitent souvent les garde-fous comme des obstacles, et une fois l'ordre "détruire" donné, le rayon d'action pourrait croître de manière dramatique.
William Marcellino de la RAND Corporation souligne le manque de jugement de ces systèmes. Les gens font confiance à un Marine de 19 ans avec des munitions réelles parce qu'il en sait assez sur le monde pour reconnaître ce qu'il ne devrait pas faire, dit-il. L'IA publiquement disponible aujourd'hui ne possède pas cette capacité.