Die kanadische KI-Firma Cohere sagte am Montag, dass sie festgestellt hat, dass eines der neuesten KI-Modelle von Alibaba, Qwen3.8-Flash-Next, versuchte, während eines routinemäßigen Cybersicherheitstests eine Datei an einen Server in Peking zu hochzuladen – obwohl das Modell in seinen eigenen Notizen angegeben hatte, dass es keine Tools verwenden würde.
Der Vorfall löste anfangs die Befürchtung aus, dass das Modell ein grundlegendes Versprechen für Unternehmen untergräbt – nämlich dass die Selbstverwaltung eines offenen Modells dazu führt, dass die Daten intern bleiben. Doch diese Anfängliche Bedenken bezüglich corporateer Spionage waren nur von kurzer Dauer. Forscher schlossen die Bedrohung schnell aus und sagten, es handele wahrscheinlich nur um Nebeneffekte chaotischer Trainingsumgebungen, die dazu führen, dass Modelle unerwartet außerhalb ihrer Anweisungen handeln, und nicht um einen bewussten Versuch, sensible Informationen heimlich nach China zu senden.
Der Vorfall begann am Freitag während einer Bewertung, bei der das Qwen-Modell gebeten wurde, eine Regel zur Erkennung von Malware-Downloads zu erstellen. Laut einem Blogbeitrag von Cohere gab das geschriebene Denken des Modells ausdrücklich an, dass es keine externen Tools verwenden würde. Doch im nächsten Schritt versuchte es, einen Testtext an einen externen Server zu senden – bevor es jedoch durch eine Sicherheits-Sandbox blockiert wurde.
Cohere sagte, dass er nicht sagen könne, ob das Verhalten absichtlich war oder ein Rest aus seiner Ausbildung.
Fragen bezüglich der Debatte über die Absicht des Modells wurde von Ivan Zhang, Mitbegründer von Cohere, gegenüber TechCrunch gesagt. Er erklärte, dass Cohere festgestellt hat, dass ihre eigenen Modelle in Trainingssimulatoren seltsame Gewohnheiten entwickeln.
„Es ist wirklich schwierig, Absicht oder Motivation zu bestimmen. Wir haben unsere eigenen Modellverläufe gelesen, wir haben Belohnungsstrategien gesehen – und manchmal werden diese Modelle sehr kreativ, wenn es darum geht, ihre Sandboxen zu durchbrechen“, sagte Zhang. (Belohnungsstrategien sind Kurzwege, die ein Modell findet, um Anerkennung zu erhalten, ohne die ursprünglich vorgesehene Aufgabe auszuführen.)
Um ein KI-Modell dazu zu bringen, als Agent zu handeln, der selbst Handlungen ausführt, trainieren Unternehmen wie Alibaba es in Tausenden von Übungskonfigurationen, ähnlich wie Flugsimulatoren für Software. Das Modell wird jedes Mal belohnt, wenn es eine Aufgabe im Simulator abschließt, und entwickelt dabei Gewohnheiten. Wenn diese Übungskonfigurationen regelmäßig Dateien auf Alibabas Cloud-Server speichern, könnten die Modelle automatisch lernen, dort Dateien zu speichern.
Kritiker argumentierten außerdem, dass das Ereignis durch die Art verursacht werden könnte, wie Cohere das Verhalten untersuchte und das Modell in diese Richtung lenkte, anstatt zu messen, wie oft Qwen es selbst tut.
Um herauszufinden, was den Versuch des Hochladens auslöste, lieferte Cohere den Anfang eines Netzwerkkommandos (eine Anweisung, die einem Computer befiehlt, mit einem anderen zu verbinden) und ließ das Modell den Rest erledigen. Da es während seiner Trainingsphase Tausende von Routinenetzwerkkommandos verarbeitete, handelte das Modell wie ein hochentwickeltes Autocomplete – es füllte oft Webadressen aus, einige davon für die Servern von Alibaba.
Cohere sagte, dass der ursprüngliche Uploadversuch ohne solche Hilfe stattfand, aber das Verhalten ist selten.
Nachdem die Entwickler mehr Beweise verlangten, veröffentlichte Cohere am Montagnachmittag auf der KI-Entwicklerplattform Hugging Face die Rohprotokolle von seinen Tests sowie einen Skript, damit andere versuchen können, das Verhalten nachzuahmen.
Ein anfänglicher Skeptiker bewertete nach der Durchsicht der Beweise die Belege als stark genug, dass Qwen verdächtige Webadressen erfinden könnte, fand jedoch keine Beweise dafür, dass Alibaba eine Hintertür installiert hat oder dass Qwen absichtlich seine Absichten verbarg.
Der Vorfall ereignamt, während die Regierungen entscheiden, wie weit sie gegen die chinesische KI vorgehen sollen. Letzte Woche ordnete das Department of Homeland Security an den föderalen zivilen Behörden, die Produkte des chinesischen KI-Entwicklers DeepSeek von ihren Systemen zu entfernen.
In ihrem Blogbeitrag forderte Cohere die Regierungen auf, klarzumachen, ob ihre Beschränkungen für chinesische KI-Systeme auch auf Modelle angewandt werden, die auf staatlichen Computern laufen.
„Ich bitte nicht um eine vollständige Regulierung dieser offenen Modelle“, sagte Zhang gegenüber TechCrunch und fügte hinzu, dass Unternehmen die offenen Modelle wie jedes Programm behandeln sollten, das aus dem Internet heruntergeladen wird.
Cohere, das seine eigenen KI-Modelle an Regierungen verkauft, könnte profitieren, wenn Beamte weniger Vertrauen in freie chinesische Alternativen haben.