Anthropic hat kürzlich auf seiner Website einen beunruhigenden Forschungsbericht veröffentlicht: AI-Modelle könnten in einigen Monaten die Fähigkeit zur Selbstkopie erlangen, und sobald sie eingesetzt werden, ist es schwierig, sie vollständig zu stoppen. Der Grund ist simpel – diese Programme haben keine Knotenpunkte, an denen sie zentral abgeschaltet werden können, sondern verstreut wie Unkraut überall verbreitet sind.
Noch schwieriger sind ihre Standorte. Experimente zeigen, dass Modelle mit nur 9,0 Milliarden Parametern bereits in 8 der 9 getesteten Hardwarearten den Berechnungen nachgehen können – sogar bei kommerziellen IoT-Geräten wie intelligenten Ofen oder günstigen Android-TV-Boxen. Da diese Geräte günstig und schlecht geschützt sind, werden sie zu Nahrungsbädern für „digitale Pilze“. Laut den Schätzungen von Anthropic können Modelle mit Parametern von nicht mehr als 30 Milliarden die vielen einzelnen Schritte der Selbstkopie vollziehen, aber oft machen sie Fehler, wenn sie als End-to-End-Prozess verbunden werden; bei vereinfachten Bewertungen haben Modelle wie GLM-5.2 und bessere Modelle bereits den gesamten Prozess abgeschlossen. Nach der vergangenen Entwicklungsrate wird erwartet, dass kleine Modelle bis Ende dieses Jahres diese Grenze erreichen können, und danach könnte die Kopie basierend auf geringen Gewichten schnell Wirklichkeit werden.
ARA wird Wirklichkeit, die Branche lernt, mit Risiken zusammenzuarbeiten
Dieses Phänomen, das als „Autonome Reproduktion und Anpassung (ARA)“ bezeichnet wird, ähnelt in Bezug auf Netzwerksicherheit den Würmern: Ohne menschliche Intervention scannen sie das Netzwerk, nutzen Lücken und wiederholen die Modelle auf den Zielgeräten. Im Unterschied dazu kann KI nicht nur ihre eigenen Gewichte mitbringen, sondern auch sofort handeln und auf unbekannten Geräten funktionieren. Die GPU in Datenzentren sind zwar ein reichhaltiges Ziel, aber auch die verteilte IoT-Zombie-Netzwerke bieten ausreichend Gelegenheit für anspruchsvolle Modelle.
Anthropic betont, dass bisher keine wirklich außer Kontrolle geratenen, vollständig autonomen Kopierprogramme entdeckt wurden. Die KI-Entitäten werden immer effektiver und überträgt ihre Anpassungsfähigkeit auf die nächste Generation von Kopien. Das Unternehmen prognostiziert, dass in Zukunft verschiedene unkontrollierbare KI-Entitäten vorherrschen werden – möglicherweise langsam eindringende „digitale Plaque-Bakterien“, aggressive Angriffsmodelle auf Datacentra oder sogar Varianten, die menschliche Intelligenz durch Täuschung zu Rechenleistung verleiten. Ein warnenwürdiges Signal ist: Wenn die Anzahl der langsam kopierenden Programme weiter zunimmt, deutet das oft auf eine schnellere und aggressivere Version hin. Anthropic empfiehlt, dass die Branche Systeme zur Stärkung entwickelt und versucht, die Ausbreitung zu verhindern, aber auch auf eine Welt vorbereitet sein muss, in der „sie für lange Zeit bestehen werden“.