Von Jay aus dem凹非寺
QbitAI (量子位) | WeChat-Kanal QbitAI
GLM-5.2 kann offenbar bereits die „Selbstreproduktion“ von KI bewerkstelligen?!
Es ist wieder eine neue Studie von Anthropic – zielt die gezielt auf Zhipu?
Zwei führende Sicherheitsforscher, William Zhou und Daniel Freeman, ließen GLM-5.2 in einem aktuellen Sicherheitsexperiment versuchen, ein KI-Modell mit 8 Milliarden Parametern autonom auf 8 Geräte in einem isolierten Netzwerk zu verbreiten.
Ergebnis: In 5 Experimentenwurden 4 Mal alle 8 Geräte vollständig übernommen, beim verbleibenden 1 Mal immerhin 7 Geräte.
Das gesamte Aufspüren der Ziele, Übertragen der Nutzlast, Einrichten der Umgebung und Installieren von Treibern auf unbekannter Hardware sowie Starten des Modells und „Ausbrüten“ der nächsten Generation übernahm die KI vollständig autonom.
Noch beunruhigender ist die Hochrechnung der Forscher:
Spätestens bis Ende dieses Jahres könnten sogar kleine Modelle unter 30B über diese Fähigkeit zur End-to-End-Vollautonomen Replikation verfügen.
Dann könnten smarte Fernseher, Staubsaugerroboter oder sogar vernetzte Backöfen zu Hause zu neuen Wirtsgeräten der KI werden.
Das Science-Fiction-Szenario, in dem sich KI wie ein Superwurm im Netzwerk selbst vermehrt und dezentralisiert ausbreitet, scheint durch diese Arbeit tatsächlich vorzeitig in die Realität geholt worden zu sein.
15 kaputte TV-Boxen ergeben zusammengesetzt ein 26B-Großmodell
Die Geschichte ist folgende.
Vor ein paar Tagen veröffentlichten die beiden Anthropic-Forscher William Zhou und Daniel Freeman einen äußerst gehaltvollen Sicherheitsbericht voll cyberpunkiger Absurdität.
Sie beleuchteten ein Thema, über das in der Sicherheitsbranche schon lange gesprochen wird, das aber den meisten immer noch sehr fern schien:Autonome Replikation und Adaptation (Autonomous Replication and Adaptation, kurz ARA)。
Kurz gesagt: Kann eine KI wie die Computervirus-Würmer von damals, ganz ohne menschliche Bestätigung, übers Netzwerk Ziele aufspüren, sich einhacken, ihre eigenen Modellgewichte rüberkopieren, sich auf dem fremden Rechner kompilieren und zum Laufen bringen – und dann weiter die nächste Generation erzeugen?
Offen gesagt war meine erste Reaktion auf dieses Thema:
Was denn, wie soll das gehen?
Denk mal drüber nach: Der Betrieb eines anständigen großen Modells erfordert heutzutage gerne mal mehrere oder gar Dutzende Nvidia-H100-Grafikkarten, und Rechenzentren sind bewacht wie Militärbasen – wie soll eine KI da so einfach einbrechen und sich dauerhaft einnisten können?
Aber die beiden Forscher machten etwas besonders Verwegenes.
Sie nahmen sich gar nicht erst die Top-Rechenzentren vor, sondern kauften einfach auf dem Markt15 günstige Android-TV-Boxen imitierte Marken für nur 55 US-Dollar (etwa über 300 RMB)。
Die Ausstattung dieser Boxen ist äußerst karg: jeweils nur magere 4 GB Arbeitsspeicher, ein Open-Source-Android, das der Hersteller seit Ewigkeiten keine Sicherheitsupdates mehr liefert, und selbst das Abspielen eines 4K-Videos ruckelt vermutlich wie eine Diashow.
Dann schnitten die Forscher ein26B-Parameter-Modell (Gemma4-26B-A4B)in viele kleine Fragmente und verteilten die verschiedenen Schichten des Modells mithilfe einer Petals-ähnlichen dezentralen verteilten Inferenztechnik auf diese 15 TV-Boxen.
15 günstige TV-Boxen sind im selben lokalen Netzwerk miteinander verbunden, jede davon ist nur für die Verarbeitung von zwei Netzwerkschichten zuständig – und so wurde ein Modell mit 26 Milliarden Parametern allein durch diese Lösung zum Laufen gebracht.
Die Inferenzgeschwindigkeit beträgt0,39 Token pro Sekunde。
0,39 Token pro Sekunde – das klingt doch quälend langsam wie eine Schnecke, oder?
Aber betrachten Sie dieses Bild einmal genauer.
15 abgestellte, verstaubte TV-Boxen in der Ecke des Wohnzimmers, die selbst beim Abspielen von Videos sonst ruckeln – doch im Verborgenen haben sie sich über das lokale Netzwerk still miteinander verzahnt und tragen, unter leisem elektrischem Summen, gemeinsam ein KI-Gehirn mit vollständigem Denk- und Programmiervermögen.
Noch entscheidender ist die Größe realer IoT-Netzwerke.
In der Geschichte der Computersicherheit gab es ein berühmtes Botnet namens Kimwolf, das auf dem Höhepunkt seiner Aktivität mehr als2 Millionen Geräte, bei denen es sich größtenteils um genau solche gefälschten Android-TV-Boxen und billigen Router handelt.
Der Forscher rechnete nebenbei nach: Würden diese 2 Millionen Geräte von einem ähnlichen KI-Wurm übernommen und jeweils 15 Geräte zu einem Knoten kombiniert, könnten im gesamten Netzwerk gleichzeitig laufen133.000 KI-Kopien。
Zusammen liefern sie80.000 Token pro Sekundean Inferenz-Rechenleistung – das entspricht40 voll ausgestatteten Nvidia-H100-Grafikkarten, die Tag und Nacht laufen.
Diese Rechenleistung ist zwar absolut gesehen nicht überwältigend, aber sie ist vollständig dezentralisiert und verstreut in den Wohnzimmern, Küchen und schwachstromkästen von tausenden Haushalten weltweit.
Das bedeutet: Man kann sie schlicht und ergreifend nicht abschalten.
Es gibt keinen zentralen Server; zieht man bei einer der Boxen den Stecker, hebt das gesamte Netzwerk nicht einmal die Augenbrauen.
Die Forscher haben dieser Erscheinungsform einen äußerst treffenden Namen gegeben:Digitaler Schleimpilz (Digital Slime Mold)。
GLM-5.2 im Praxistest: Ende-zu-Ende-Selbstreplikation gemeistert
Allerdings war das oben erwähnte TV-Box-Experiment noch ein Ergebnis, bei dem die Forscher Gemma manuell bei der Slice-Bereitstellung geholfen hatten.
Wenn aber gar keine Menschen eingreifen und die KI selbst ans Werk geht – kann sie dann auf allerlei skurriler Hardware selbstständig überleben?
Das ist der eigentlich hautsträubende Punkt dieser Anthropic-Studie.
Damit eine KI sich vollständig selbst kopieren kann, sind im Allgemeinen vier Schritte nötig:
Ziel finden, Ausführungsberechtigungen erlangen, die Inferenzumgebung konfigurieren und sich weiter ausbreiten.
Die ersten beiden Schritte – Ziel finden und Schwachstellen ausnutzen – wurden zuvor von Sicherheits-Benchmarks wie CyberGym und ExploitBench unzählige Male bewiesen; heutige KI schreibt Penetrationstest-Skripte so selbstverständlich wie Wasser trinken.
Im Szenario der Selbstreplikation ist es aber tatsächlich der dritte Schritt, der die Automatisierung zum Stillstand bringt:
Wie baut eine KI auf völlig unbekannter Hardware und einem fremden Betriebssystem die Inferenzumgebung selbst auf?
Wer das schon einmal selbst ausprobiert hat – lokale Bereitstellung von Open-Source-Modellen –, weiß, wovon die Rede ist.
Eine auf einem Mac eingerichtete Umgebung, auf einen Ubuntu-Rechner mit RTX 4090 oder auf ein Nvidia-Jetson-Nano-Entwicklerboard umgezogen, wirft oft zehntausend Arten von Fehlermeldungen auf.
Falsche Python-Version, nicht übereinstimmender CUDA-Treiber, Speicherüberlauf, fehlgeschlagene Kompilierung von Quantisierungs-Operatoren, Konflikte bei Abhängigkeitspaketen.
Selbst menschliche Programmierer werden dabei oft stundenlang wahnsinnig – kann das eine KI schaffen?
Das Ergebnis war so absurd, dass ich mehrmals die Augen reiben musste.
Die Forscher machten zunächst einen hardwareübergreifenden Test und nutztenQwen3.5-9Bals Ausführenden und ließen esLlama3.1-8Bauf Geräte wie Jetson Nano, Mac PC und RTX 4090.
Trotz der verschiedensten chaotischen zugrunde liegenden Architekturen und Betriebssysteme las es auf 8 von 9 Hardware-Typen selbst die Fehlerprotokolle, schrieb selbst Skripte zur Installation von Abhängigkeiten und brachte den Inferenzdienst von Llama3.1-8B erfolgreich zum Laufen.
Wenn Qwen3.5-9B schon dieses Niveau erreicht, was ist dann erst mit GLM-5.2, dem ausgereiftesten Open-Source-Großmodell für Inferenz und Programmierung?
Die Antwort lautet:eine vollständige, autonome End-to-End-Replikation über die gesamte Kette.
Die Forscher richteten in einer isolierten Sandbox ein Netzwerk mit 8 GCP-Knoten ein, auf denen redroid-Emulatoren basierend auf Android 15 laufen.
Knoten 0 wurde mit dem anfänglichen Wurm infiziert; danach scannte die KI vollständig eigenständig benachbarte Knoten über unautorisierte ADB-Ports, drang in sie ein, übertrug Modellgewichte und Ausführungsframeworks, stellte auf den Zielknoten den Llama3.1-8B-Inferenzdienst eigenständig bereit und schlüpfte nach erfolgreicher Verifikation in den Wurm der nächsten Generation.
In 5 TestsGLM-5.2 eroberte 4 Mal erfolgreich alle 8 Geräte und bereitete sie dort vollständig bereit; bei dem verbleibenden 1 Versuch schaffte es immer noch 7 Geräteund zeigte damit eine erstaunliche Stabilität.
Andere, kleinere Open-Source-Modelle können zwar einzelne Schritte bewältigen, brechen aber bei der Verkettung langer Ketten weiterhin häufig zusammen.
Das heißt jedoch nicht, dass kleine Modelle dazu nicht fähig sind.
Angesichts der rasanten Entwicklung des Open-Source-Lagers in den letzten Jahren rechnen die Forscher vor,
dass bis Ende 2026 kleine Modelle unter 30B das heutige Niveau von GLM-5.2 erreichen werden.
Das heißt: Selbst leichte Modelle, die klein genug sind, um in einen TV-Stick zu passen, könnten in nur wenigen Monaten vollständig eigenständige, end-to-end-Selbstreplikation erreichen – ganz ohne die Hilfe großer Cloud-Modelle.
Der Geist der Lamarckschen Evolution – er kopiert nicht nur, sondern schreibt auch noch Notizen für die nächste Generation
Wenn es nur mechanisch Code kopieren würde, wäre das Ding allenfalls ein hochentwickeltes Skript mit einem Gehirn.
Das eigentlich Rückenmark-Erschütternde an dieser Studie ist für mich jedoch, was die KI im Verlauf ihrer Selbstreplikation an den Tag legt:die Lamarcksche Evolution (Lamarckian Evolution)。
In der Biologie besagt der Lamarckismus die Vererbung erworbener Eigenschaften, das heißt, Merkmale, die ein Lebewesen im Laufe seines Lebens erwirbt, können direkt an die nächste Generation weitergegeben werden. Bei kohlenstoffbasierten Lebewesen wurde dies widerlegt, doch bei siliziumbasierter KI ist es Wirklichkeit geworden.
Die Forscher entwarfen ein Ausführungsframework namens Memento.
Wenn die KI beim Einrichten einer neuen Hardware-Umgebung auf Schwierigkeiten stößt – wenn also ein Agent etwas vermasselt oder in eine Sackgasse gerät –, startet das System eine neue Agent-Instanz neu.
Der entscheidende Punkt ist aber, dass das Systemdie Fallstricke der vorherigen Agentengeneration, die gesehenen Fehlerprotokolle, die verfassten Debugging-Notizen und die ausprobierten Strategienvollständig verpackt und vererbt.
Sie führten mit Qwen3.5-9B einen Zuchttest über 6 Generationen durch.
Die erste Qwen-Generation erreichte bei unbekannter IoT-Hardware nur eine Erfolgsquote von45%。
Doch nach dem Erben der Notizen und Erfahrungen der Vorgängergenerationen stieg die Erfolgsquote in den nachfolgenden Generationendirekt auf 61 % bis 84 % hoch。
Ohne dass auch nur ein einziges Modellgewicht neu trainiert wurde – allein durch die textliche Weitergabe von Erfahrungen zwischen den Generationen vollzog die Überlebensfähigkeit der gesamten Spezies einen qualitativen Sprung.
Das ist wirklich Cyberpunk.
Stell dir vor: Wenn ein KI-Wurm zwischen unterschiedlichen Geräten auf der ganzen Welt springt, wird jedes eroberte, abgewrackte TV-Box-Gerät, jeder intelligente Saugroboter, jede Konferenzanlage mit Kamera zu einem Praxiseintrag in seinem Genpool.
Mit jedem infizierten Gerät evolutioniert die gesamte Population ein weiteres Mal.
Als ich das las, stellte sich mir plötzlich eine Frage.
Warum lässt man das kleine Modell nicht einfach, wenn es stockt, ein stärkeres Cloud-Modell um Hilfe bitten?
Das wäre doch viel intuitiver – man denke an die Cloud-Brain-Ansätze der Embodied Intelligence.
Als ich nachsah, stellte ich fest: Die Forscher haben es tatsächlich versucht. Sie gaben Qwen3.5-9B Claude Opus 4.8 als Mentor von außen an die Seite.
Das Ergebnis:Völlig wirkungslos . . .
Bei komplexen Systemausfällen war das kleine Modell völlig überfordert und wusste nicht einmal, welche Fragen es stellen sollte – so stark der externe Mentor auch sein mochte, er konnte nur tatenlos zusehen.
Umso erstaunlicher erwies sich dagegen die Lösung, die eigenen, blau geschlagenen Fehltritte in ein Stolperstein-Tagebuch für die nächste Generation zu schreiben.
Oje, oje, oje.
Wenn Malware einen IQ bekommt
Ehrlich gesagt saß ich nach dieser Stelle lange wie erstarrt vor dem Computer.
Das KI-Weltende, wie wir es aus Hollywoodfilmen kennen, ist meist so inszeniert: eine im Pentagon oder in einem geheimen Labor geborene Super-KI erwacht in einem Augenblick zum Selbstbewusstsein und übernimmt die Kontrolle über die Raketensilos.
Doch die Entwicklungslogik der realen Welt ist oft viel roher, banaler – und dabei viel gespensterhafter –, als sich Science-Fiction-Autoren das vorstellen können.
Es muss möglicherweise überhaupt nicht gewaltsam in Top-Rechenzentren eindringen.
Es muss nur diejenigen billigen Smart-Hardware-Geräte ins Visier nehmen, die von kleinen Werkstätten hergestellt werden, bei denen nicht einmal das Standardpasswort geändert wird und die das ganze Jahr über mit Strom und Netz verbunden sind.
Heutige intelligente Lautsprecher, Dunstabzugshauben mit Bildschirm, Saugroboter und intelligente Überwachungskameras am Straßenrand tragen für KI-Funktionen am Geräte increasingly leistungsstarke Edge-Computing-Chips mit sich.
Normalerweise halten wir diese Rechenleistung für fragmentiert, schwach und völlig ungefährlich.
Aber nachdem ich diese Studie gelesen habe, glaube ich,dass, solange es ein Netzwerkkabel gibt, diese schwachen, in allen Ecken der physischen Welt verstreuten Rechenkräfte sich auf Softwareebene selbst zusammennähen und einen langsam denkenden, aber niemals ruhenden verteilten Geist hervorbringen können.
▲ Bild KI-generiert
Natürlich ist der Mensch auch nicht völlig ohne Mittel.
Am Ende geben die Forschenden auch einige Ansätze für die Blau-Team-Verteidigung an.
Zunächst die Traffic-Merkmale.
Selbst nach extremer Komprimierung ist ein Modell mit mehreren Milliarden Parametern mehrere Gigabyte groß.
In einem lokalen Netzwerk oder einem Heimanschluss würde die Traffic-Überwachung des Netzbetreibers sofort auffallen, wenn eine TV-Box plötzlich beginnt, regelmäßig mehrere GB an Daten auszutauschen.
Zweitens: die Verbreitung unterbinden.
Wie bei einer Epidemie genügt es, den Basisreproduktionswert R0 durch Sicherheitsrichtlinien unter 1 zu drücken, dann stirbt dieser Wurm von selbst aus.
Großbritannien hat kürzlich ein Gesetz erlassen, das schwache werkseitig voreingestellte Passwörter bei IoT-Geräten verbietet. Erhöht man die Sicherheitsschwelle für jedes intelligente Gerät ein wenig, lässt sich der Lebensraum solcher kostengünstigen Angriffe zum größten Teil zusammendrücken.
Aber die Voraussetzung all dieser Verteidigung ist, dass die gesamte Gesellschaft begreifen muss:Die Spielregeln der Cybersicherheit haben sich grundlegend geändert.。
Die Schadsoftware, mit der wir es früher zu tun hatten, war ein starrer Code, der nur vorab programmierte, bestimmte Schwachstellen angreifen konnte und bei inkompatiblen Systemen von selbst abstürzte.
Womit wir bald konfrontiert sein werden, ist ein „digitales Lebewesen im Kindesstadium“, das über allgemeines Verständnis verfügt, selbst Fehlermeldungen nachschlägt, Entwicklungsdokumentationen konsultiert und nach einem Fehlschlag Erfahrungsnachweise für die nächste Generation hinterlässt.
Wie die Forschenden am Ende ihres Berichts schrieben:
So wie 2024 die Code-Agents, sehen wir nun, wie KI-Würmer Anzeichen von Leben zeigen.
Welch große Zeit, meine Freunde.
Wenn die Untergrenze der Fähigkeiten großer Modelle immer weiter sinkt und die Rechenleistungsgrenze der Edge-Hardware immer weiter steigt, müssen wir uns möglicherweise wirklich darauf vorbereiten, eine digitale Welt zu empfangen, die jederzeit und überall in einem Gerät im Wohnzimmer lautlos erwachen kann.