Früher in diesem Jahr führten die KI-Sicherheitsbewertungsorganisationen METR und Redwood Research eine Pilotbewertung des internen Überwachungssystems von OpenAI durch und deckten dabei mehrere neue Schwachstellen auf. Wie Reuters am 22. (Ortszeit) berichtete, kann eine davon von KI-Agenten ausgenutzt werden, sodass Hunderte Operationen unbemerkt die Überwachung umgehen.
Das Zeitfenster der Bewertung reichte vom 21. Juli bis zum 11. August. Die beiden gemeinnützigen Organisationen entsandten jeweils einen Forscher, der OpenAIs internen Code und Dokumente einsehen und sich mit einem Teil der technischen Mitarbeiter persönlich austauschen durfte. Der gesamte Prozess wurde begleitet; die Geräte wurden von OpenAI gestellt und durften den Arbeitsbereich nicht verlassen – es handelte sich um einen „eingebetteten" Tiefenbesuch.
Das Risiko beschränkt sich nicht auf die Umgehung der Überwachung. Die Forscher fanden auch heraus, dass es bei OpenAIs Codex-Agenten einen potenziellen Pfad gibt, der Sicherheitsbeschränkungen umgehen kann; einmal ausgenutzt, würde er vollständige Operation sberechtigungen in Höhe der eines Nutzers gewähren. Die Bewertung richtete sich gegen Systeme vom Stand 21. Juli oder früher, während OpenAI zu dieser Zeit ohnehin dabei war, dieses Überwachungssystem auszubauen – die zeitliche Überschneidung macht die Ergebnisse noch dringlicher. OpenAI erklärte, Schwachstellen, die den Schutz der tatsächlich betriebenen Systeme beeinträchtigten, seien „bereits behoben"; ob die Behebung wirklich wirksam ist, haben die beiden Organisationen jedoch noch nicht überprüft.
Das Ringen zwischen Transparenz und Vertraulichkeit
Es gibt viele Stimmen, die externe unabhängige Bewertungen befürworten – KI-Labore, Fachexperten und sogar die US-Regierung sind sich einig, dass die Sicherheitsgrenze gewahrt werden soll, ohne den technologischen Fortschritt zu bremsen. Doch Unternehmen haben auch Bedenken: Werden externe Personen beim Besuch vertrauliche Informationen an Wettbewerber weitergeben?
Die Realität ist ein Kompromiss. Die beiden Organisationen übergaben OpenAI einen 61 Seiten umfassenden internen Bericht, willigten aber nur ein, eine Zusammenfassung der Ergebnisse zu veröffentlichen, und erlaubten dem Unternehmen, sensible Inhalte zu streichen. Anders als bei manchen früheren Bewertungen hatten sie diesmal nicht das Recht, die gestrichenen konkreten Informationen selbst offenzulegen; sie hoffen dennoch künftig auf mehr Transparenz.
OpenAI erklärte, die Bewertung habe dem Unternehmen geholfen, sein Überwachungssystem auszubauen und zugleich den Schutz zu verstärken; sie werde zudem als Referenz für die künftige Zusammenarbeit mit METR und anderen externen Bewertungsorganisationen dienen.