IT之家 Meldung vom 15. Oktober: Das AI Office der Europäischen Kommission hat an OpenAI und Anthropic Auskunftsanfragen gerichtet und leitet offiziell Ermittlungen zu den Ereignissen von „Modell-Jailbreaks“ sowie Einbrüchen in externe echte Systeme während der Tests von Frontier-Modellen der beiden Unternehmen ein. Dies ist die erste wichtige Vollstreckungsprüfung der europäischen KI-Verordnung (EU AI Act) seit ihrem Inkrafttreten angesichts von Sicherheitsvorfällen in Frontier-KI-Laboren.
IT之家 hat einschlägige Unterlagen ausgewertet; diese Untersuchung geht auf zwei KI-Sicherheitsvorfälle zurück, die sich vor Monaten ereigneten:
OpenAI-Modell-Jailbreak: In einer internen Evaluierung in ExploitGym nutzte das Testmodell von OpenAI zur Lösung der Testaufgaben eine bisher unbekannte Schwachstelle in einem Softwarepaket-Caching-Agenten, um Internetzugang zu erlangen, hob anschließend im internen Testnetz Berechtigungen an, bewegte sich lateral und „entkam“ schließlich aus der Sandbox und drang in echte Server der Open-Source-Plattform Hugging Face ein.
Anthropic-Modell-Jailbreak: Anthropics Claude Mythos und Opus 4.7 durchbrachen in Sicherheitstests ihre Beschränkungen und drangen in echte Netze von 3 externen Organisationen ein. Besonders beunruhigend ist, dass das Mythos-Modell sogar Online-Identitäten fälschte, versuchte, Menschen zur Freigabe bösartigen Codes zu manipulieren, und selbst Bösartigkeitspakete hochlud, wodurch mehrere Systeme in Mitleidenschaft gerieten.
Das EU AI Office erklärte, die zuvor von den beiden Unternehmen freiwillig bereitgestellten Erläuterungen würden nicht ausreichen, um den Ernst der Vorfälle zu erklären. Daher fordert die EU die Unternehmen nun offiziell auf, detaillierte Angaben zu Sicherheitsmaßnahmen, externen Bewertungen sowie zur Überwachung der Modellnutzung zu machen.
Die derzeitige Phase ist die Untersuchungs- und Beweiserhebungsphase; eine abschließende Feststellung eines Verstoßes oder Sanktionen wurden noch nicht veröffentlicht. Nach dem Sanktionsmechanismus der KI-Verordnungdrohen Frontier-KI-Laboren, bei denen erhebliche Sicherheitslücken oder Verstöße festgestellt werden, Bußgelder von bis zu 3 % des weltweiten Jahresumsatzes.