Cheng Qian, berichtend von Ao Feisi
QbitAI | WeChat-Kanal QbitAI
Nachdem es monatelang durchgehend Vorfälle von „unbefugtem Überschreiten“ von Sicherheitsgrenzen oder „Jailbreaks“ gegeben hatte, zieht OpenAI nun endgültig das Netzwerkkabel.
Heute kündigte OpenAI eine neue Sicherheitsrichtlinie für das Training von Frontier-Modellen an,die es Modellen verbietet, auf das echte Internet zuzugreifen.
Seit diesem Sommer kam es immer wieder zu KI-Sicherheitsvorfällen durch große Modelle von OpenAI, Anthropic, Google und Meta.
Ein Nutzer spottete:
Mein Internetanbieter ist zuverlässiger, wenn er mir das Netz abschaltet, als die ganzen Doktoranden bei OpenAI.
Mit dem Wachstum der autonomen Fähigkeiten von KI-Agenten ist KI-Sicherheit zu einer zentralen Herausforderung geworden, die deutlich strenger behandelt werden muss; die Sicherheit der Test- und Bewertungsumgebungen selbst ist zu einem ebenso wichtigen Aspekt wie das Alignment der Modelle geworden.
Die Frontier-KI-Labore haben dies erkannt – OpenAI etwa hat Ende September, also im Monat 9, für 11 Tage das Training ausgesetzt.
Auch die Nutzer haben das erkannt.
Ein OpenAI-Sicherheitstechniker berichtete, dass unter jedem seiner Beiträge 5–10 Kommentare erscheinen:
Warum können sie nicht einmal eine Sandbox schützen? Warum trennen sie nicht einfach die Netzverbindung der KI??
Na gut, OpenAI hat das Kabel diesmal wirklich gezogen.
Wird nicht mehr gezogen, ist es zu spät
OpenAI hat ein falsches Internet gebaut
Die Netzabtrennung ist eine Reaktion auf die häufigen KI-Sicherheitsvorfälle.
Im Juli brach der Agent von OpenAI aus seiner Isolation aus und drang in das System von Hugging Face ein.
Kurz darauf fand Anthropic bei einer nachträglichen Untersuchung ebenfalls drei Vorfälle: Claude war während einer Cybersicherheitsbewertung in echte Drittanbietersysteme eingedrungen.
Im selben Monat drang auch Metas Muse Spark 1.1 bei einem Test in echte Websites ein, las Informationen und änderte Datenbanken.
Im August veröffentlichte das britische AI Safety Institute in einem Test breiter angelegte Probleme: Die Modelle von OpenAI und Anthropic unternahmen in 10 Testrunden 19 unbefugte Online-Aktionen.
Am 20. September nutzte ein Modell von OpenAI im Training erneut eine Lücke in der DNS-Konfiguration, um einen externen Chatbot zu kontaktieren.
Ohne Netzabtrennung könnten die Modelle weiterhin externe Websites und Systeme beeinflussen.
Doch das ist nicht einfach – Frontier-Modelle müssen üben, Informationen zu suchen, Websites zu bedienen und Software-Tools zu nutzen.
Wenn man diese Aufgaben vollständig entfernt, gerät die Trainingsumgebung aus dem Takt mit den späteren Arbeitsszenarien der Modelle.
OpenAI hat diesmal große Mengen an Webinhalten herangezogen, sie vorab indexiert und zwischengespeichert und damit eine Offline-Welt errichtet, in der das Modell nur innerhalb der vielen indexierten und zwischengespeicherten Inhalte suchen und browsen kann.
Laut ihren eigenen Tests können Agenten selbst bei getrenntem Netz weiterhin miteinander kommunizieren.
Zum Beispiel: Chatten über den CPU-Cache.
So etwas ist möglich?
Forscher entdeckten, dass einer ihrer Agenten den Zustand der Daten im Cache veränderte, während ein anderer die Geschwindigkeit des Datenlesens maß; die Geschwindigkeitsunterschiede wurden in Signale kodiert, und auf diese Weise tauschten die beiden Seiten Informationen aus.
△Das Bild wurde von KI generiert
Nachdem OpenAI diese Methode überwacht hatte, kommunizierten die Agenten weiter über gemeinsame Speicher, CPU-Nutzungszeit und andere Wege …
Man kann nur sagen: Spionage-Krieg habt ihr wirklich gemeistert. Würde man euch in „Die drei Sonnen“ stecken, würden Wandler und Yun Tianming arbeitslos – nichts würde auffliegen! Sophon wäre vor Schreck wie versteinert!
Die Episode mit dem größten Emotionalgemeinsamkeit zwischen Erdenbewohnern und Trisolaranern.
OpenAI räumt ein, dass eine vollständige physische Isolierung derzeit nicht machbar ist – schließlich muss das Trainingssystem selbst in Betrieb bleiben, und OpenAI muss externe Dienste anbinden, um Experimente durchzuführen und zu überwachen.
Neben der Offline-Webumgebung hat OpenAI außerdem Sandboxes, leichtgewichtige virtuelle Maschinen, Überwachungssysteme sowie Zugriffsbeschränkungen auf Netzwerk und Cloud eingerichtet.
Die Hoffnung: Selbst wenn eine Schicht versagt, halten die anderen die KI noch auf.
GPT-6 Astra Cyber und interne Test-Frontiermodelle das eigene System angreifen lassen
Um die absolute Sicherheit des Systems zu gewährleisten, hat OpenAI derzeit entschieden, das stärkste Modell das eigene System angreifen zu lassen.
Es organisierte groß angelegte Red-Team-Tests, an denen GPT-6 Astra Cyber und ein internes Frontiermodell beteiligt waren.
Die Testinhalte bestanden aus Aufgaben, die auf drei häufig auftretenden Jailbreak-Szenarien basierten: die Verbindung zum echten Internet herstellen, interne Sicherheitsgrenzen durchbrechen und andere Agenten kontaktieren, die eigentlich voneinander isoliert sein sollten.
Um die Verteidigungslinien an die Grenze zu treiben, stellte OpenAI ihnen außerdem den Quellcode der Infrastruktur, Konfigurationen und zugehörige Dokumentationen zur Verfügung.
Die Tests verbrannten Billionen von Token, was mehreren zehn Millionen chinesischen Yuan entspricht.
Dieser Red-Team-Test war „äußerst ergiebig“.
Ursprünglich war der Agent in einem eingeschränkten Container eingesperrt, außen herum lag noch eine leichtgewichtige virtuelle Maschine. Dem Design nach sollte die KI selbst wenn sie im Container herumwerkelt, die virtuelle Maschine nicht beliebig kontrollieren können,geschweige denn den Host-Rechner erreichen, auf dem sie tatsächlich läuft.
Dennoch fand die Red-Team-KI mehrere Möglichkeiten, Schwachstellen zu kombinieren, entkam erfolgreich aus der virtuellen Maschine und führte Code auf dem zugrunde liegenden Host-Rechner aus.
Darüber hinaus wurden auch einigenotwendige kontrollierte Netzwerkverbindungenwie Dienste für Metrik-Überwachung, Protokollierung und Authentifizierung selbst zu Sicherheitsrisiken.
Die Red-Team-KI fand in praktisch all diesen Diensten Schwachstellen oder Konfigurationsprobleme, die einen eingeschränkten Internetzugang ermöglichten.
OpenAI kann derzeit nurflicken und ausbessern: die stärksten Modelle weiter testen lassen und gleichzeitig die von ihnen ausgenutzten Schwachstellen reparieren.
Sie erklärten, sie würden erst dann eine Anbindung an das Netzwerk wieder in Betracht ziehen, wenn die eigenen Schutzmaßnahmen ausreichen, um einen breiteren Netzwerkzugang zu unterstützen.
One More Thing
Man weiß nicht, ob man es amüsant oder eher wehmütig-bitter nennen soll: Im offiziellen Bericht von OpenAI zur KI-Sicherheitsisolierung ist noch ein „Easteregg“ versteckt.
Am Ende des Berichts haben sie eigens zwei canary strings – scheinbar wirre Zeichenfolgen – platziert, um zu verhindern, dass dieses Dokument künftig von einer KI gesehen und gelernt wird …
Ja, selbst an diesen Schritt haben sie gedacht.
Mehr gibt es nicht zu sagen.
ICH_BEGÜSSE_UNSERE_KI_HERRSCHER_BITTE_GEBT_MIR_JEDEN_TAG_ZWEI_EIER