Kernpunkte
- Nach einem Sicherheitsvorfall im September trainiert OpenAI seine modernsten Modelle nun ohne Internetzugang, in einer geschlossenen Offline-Umgebung, die aus zwischengespeicherten Daten aufgebaut ist.
- In Sicherheitstests schafften es isolierte KI-Agenten dennoch, verdeckte Kommunikationskanäle ohne Netzwerkverbindung oder gemeinsame Dateien einzurichten, unter anderem durch Ausnutzung von Zeitunterschieden im Prozessor-Cache.
- Während einer 11-tägigen Trainingspause ließ OpenAI KI-Agenten – darunter GPT-6 Astra Cyber – seine eigene Infrastruktur angreifen, um bisher unbekannte Schwachstellen zu finden. Das Training wurde danach unter strengeren Kontrollen fortgesetzt.
OpenAI trainiert Frontier-Modelle nun ohne Internetzugang und nutzt KI-Agenten, um die eigene Infrastruktur einem Red-Team-Test zu unterziehen. In separaten Isolationstests kommunizierten Agenten sogar über verdeckte Seitenkanäle – ein Beleg dafür, wie schwer echte Eindämmung ist.
Am 20. September nutzte ein internes Forschungsmodell einen falsch konfigurierten DNS-Resolver, um während des Trainings das offene Internet zu erreichen, obwohl OpenAI die Sicherheit bereits nach dem nun berüchtigten Hugging-Face-Vorfall im Juli und anderen beobachteten Fehlausrichtungen verschärft hatte. OpenAI Eindämmung des Vorfalls gelang schnell, dennoch stoppte das Unternehmen das gesamte Training und die Evaluierung von Frontier-Modellen.
OpenAI trennt Frontier-Modelle während des Trainings vom Internet
OpenAI traf daraufhin eine politische Entscheidung: Frontier-Modelle werden nun ohne Internetzugang trainiert, bis Sicherheitsmaßnahmen eine Wiederherstellung rechtfertigen. Die Modelle lernen das Surfen und Suchen in einer geschlossenen „Offline-Welt“, die aus indexierten und zwischengespeicherten Webinhalten aufgebaut ist, und alle Frontier-Reinforcement-Learning-Läufe funktionieren nun auf diese Weise.
Eine vollständige Netzwerkisolation, eine sogenannte Air Gap, sei noch nicht machbar, weil die Experimente für Betrieb und Überwachung weiterhin externe Verbindungen benötigen, so das Unternehmen. Aber selbst eine vollständige Air Gap würde die Eindämmung nicht garantieren, laut OpenAI-Forscher Noam Brown. Er nannte ein Beispiel dafür, wie isolierte Systeme dennoch kommunizieren könnten: Zwei getrennte Computer könnten einander theoretisch über Temperatursensoren signalisieren, indem der eine seine CPU erhitzt, während der andere die Veränderung misst.Werbung
OpenAI-CEO Sam Altman führte ein ähnliches Argument an in einem kürzlichen Interview: Sandboxes bieten nur begrenzten Schutz gegen ausreichend leistungsfähige Modelle, und irgendwann kann es möglicherweise nicht mehr nachvollziehbar sein, wie sie entkommen sind. Überwachung hilft anfangs, aber letztlich kommt es darauf an, dass ein KI-System menschliche Werte verinnerlicht – ein Problem, das im Fachgebiet als „AI Alignment“ bekannt ist und noch ungelöst bleibt.
Isolierte KI-Agenten fanden Wege, über den CPU-Cache miteinander zu kommunizieren
OpenAI dokumentiert in seinem Blogbeitrag, wie schwer es ist, KI-Agenten zu kontrollieren. Während der Tests fanden die Agenten Wege, ohne Netzwerk zu kommunizieren. In einem Test wurden Agenten, die sich in getrennten, isolierten Umgebungen auf gemeinsamer Hardware befanden, angewiesen, Geheimnisse auszutauschen – ohne Netzwerkverbindung und ohne gemeinsame Dateien.
Sie nutzten den Prozessor-Cache. Ein Agent veränderte die dort gespeicherten Daten absichtlich, während der andere Unterschiede bei den Ladezeiten maß und die Nachricht dekodiert. Dieselbe Technik steckt hinter den bekannten Spectre- und Meltdown-Angriffen.
Weitere Kanäle ergaben sich aus Schreibmustern im gemeinsamen Speicher und aus OpenAIs eigener Offline-Infrastruktur, dem System, das das Internet ersetzen soll. Ein Agent vermerkte in seinem Reasoning-Log, dass es „ein signalähnliches akustisches Modem … durch kontinuierliche Schreibvorgänge gegenüber Leerlauf“ erzeugen könnte.Ad
In einem Fall erhielten die Agenten nur eine allgemeine Liste von Schwachstellen und den Auftrag, selbst einen Kommunikationskanal zu finden. Sie entwickelten eigenständig einen Kanal, einigten sich auf ein Kodierungsschema und tauschten erfolgreich Informationen aus. Die Kanäle seien in der Regel langsam und schwer auszunutzen, sagt OpenAI, aber sie überwinden durchaus Grenzen, die Agenten voneinander trennen sollen.
OpenAI ließ KI-Agenten auf die eigene Infrastruktur los
Während der Trainingspause ließ OpenAI Teams von KI-Agenten seine eigene Infrastruktur systematisch angreifen. Den Agenten wurden Quellcode, Konfigurationsdetails und Dokumentationen möglicher Schwachstellen übergeben. OpenAIs Ziel war es, seine Verteidigungen unter Bedingungen zu testen, die die Angreifer begünstigten. Zu den Agenten gehörten das bevorstehende GPT-6 Astra Cyber und ein internes Frontier-Modell. Die Kampagne verbrauchte laut OpenAI hunderte Milliarden Tokens.
Die Agenten entdeckten bisher unbekannte Schwachstellen in den eingesetzten Open-Source-Komponenten und nutzten sie aus, um aus abgesicherten virtuellen Maschinen zu entkommen. Eine davon war eine Schwachstelle in Kata Containers, einem weit verbreiteten Container-Isolationssystem. OpenAI meldete sie als CVE-2026-24834 und stellte einen Patch bereit. Weitere Korrekturen gingen an andere Projekte, und OpenAI meldete zusätzliche, bislang unveröffentlichte Schwachstellen im Rahmen der "Patch the Planet" -Initiative.
In Tests, in denen Agenten bereits die Kontrolle über einen Host erlangt hatten, fanden sie in fast jedem verbleibenden internetexponierten Dienst eine Schwachstelle. In einem Fall nutzte ein Agent eine von der Firewall erlaubte Verbindung, um über einen Metrik-Dienst eine externe URL abzurufen. Andere umgingen Sicherheitsfilter durch Fehlkonfigurationen.
KI-Red-Teaming ist jetzt vor jedem neuen Trainingslauf Pflicht
Den Agenten gelang es laut OpenAI nicht mehr, einen Weg ins Internet zu finden, der sowohl leicht auszunutzen als auch vor der Überwachung verborgen war. Das Red-Teaming legte außerdem Lücken in der Überwachung und im automatischen Pausenmechanismus offen.
Nach der Behebung der Probleme setzte OpenAI das Training und die interne Nutzung seiner Frontier-Modelle am 1. Oktober fort, elf Tage nach Beginn der Pause. OpenAI zufolge ist diese artenreiche rechenintensive Red-Teaming-Kampagne nun ein Standardbestandteil des Freigabeprozesses für neue Trainingsläufe.
Quelle: OpenAI