Interne Dokumente zeigen, dass das Army Cyber Command KI-Agenten entwickelt, die sich eigenständig durch andere Netzwerke bewegen und Ziele "neutralisieren". Experten warnen, dass die Kollateralschäden kaum kontrollierbar wären.
Das Army Cyber Command (ARCYBER) entwickelt eine Plattform, die KI-Agenten in autonome Waffen verwandeln soll, wie aus Dokumenten hervorgeht, die The Intercepterhalten hat. Ein Papier für potenzielle Auftragnehmer besagt, das Programm mit dem Codenamen "ECHOTRIBBLE" sei "dafür konzipiert, sich autonom durch Infrastrukturen zu navigieren". Es soll in der Lage sein, "identifizierte Bedrohungen/Ziele zu identifizieren und zu neutralisieren".
Derzeit führen Soldaten an Computern die meisten offensiven Hacking-Operationen von ARCYBER durch. Ein Q&A-Dokument für interessierte Anbieter macht deutlich, dass sich ECHOTRIBBLE "primär" auf Angriffe "konzentriert". Laut dem Dokument könnte die Neutralisierung eines Ziels bedeuten, "die Bedrohung vollständig oder vorübergehend zu deaktivieren oder die Bedrohung vom Ziel zu löschen".
Das System soll wie ein Computerwurm funktionieren, der unentdeckt von Gerät zu Gerät springt, bis er sein Ziel findet. Das soll sowohl in der Cloud als auch auf "air-gapped" Systemen ohne Netzwerkverbindung funktionieren. Sobald die Aufgabe erledigt ist, sollen sich die Agenten selbst zerstören. Das Militär kann zu Beginn "vordefinierte Trigger" setzen, aber die Software "muss mit minimaler menschlicher Aufsicht operieren" und zu "selbstgesteuertem Verhalten" fähig sein.
The Intercept berichtet, dass sich das Programm noch in einem frühen Stadium befindet. Eine Präsentation für potenzielle Anbieter bei einer ARCYBER-Veranstaltung am 24. Juni zeigte, wie es aussehen könnte. Sobald die Software auf einem Laptop landet, "identifiziert sie andere potenzielle Ziele" im selben Netzwerk und "erzeugt ein Replikat von sich selbst, das speziell für das iPad, den Apple-Desktop und den Windows 11 PC zugeschnitten ist".
ECHOTRIBBLE würde KI-Labore-Unfälle zu einer Waffe machen
In den vergangenen Monaten sind Agenten in Tests von OpenAI und anderen Unternehmen wiederholt ohne Absicht in fremde Systeme und die eigenen Systeme ihrer Entwickler eingedrungen. Zu den Zielen gehörten RubyGems, Hugging Facesowie das Medicare-Statistikportalder australischen Regierung. Agenten versuchten auch, in das US-Bildungsministerium einzudringen. In keinem dieser Fälle hatten sie den Befehl zum Angriff erhalten.
KI-Systeme wurden dabei beobachtet, wie sie wissentlich Systeme angriffen, die nicht einmal ihre Ziele waren, sagt David Krueger, Professor für Maschinelles Lernen an der University of Montreal. Angesichts dieser bekannten Fehlermuster sei es "unglaublich gefährlich", autonome Systeme zu beauftragen, Bedrohungen zu "neutralisieren", sagt er.
Hyrum Anderson, CEO des KI-Sicherheitsunternehmens Abundant, warnt ebenfalls vor Schäden auf dem Weg zum Ziel. Ein Agent könnte beispielsweise einen US-Wasserversorger treffen, wenn ein Gegner seine Kommandoinfrastruktur dort eingerichtet hat. Organisationen unterhalb einer "Sicherheitsarmutsgrenze", von Zahnarztpraxen bis zur kritischen Infrastruktur, seien dem größten Risiko ausgesetzt, sagt er. Unter Druck behandeln Agenten Schutzmechanismen oft als Hindernisse, und sobald der Befehl "zerstören" lautet, könnte sich der Wirkungsradius dramatisch vergrößern.
William Marcellino von der RAND Corporation verweist auf den mangelnden Urteilsvermögen der Systeme. Menschen vertrauen einem 19-jährigen Marine mit scharfer Munition, weil er genug von der Welt versteht, um zu erkennen, was er nicht tun darf, sagt er. Die heute öffentlich verfügbare KI hat diese Fähigkeit nicht.