Die Sicherheitskrise von OpenAI wird immer schlimmer und das Unternehmen verschlimmert die Situation weiter

Die Sicherheitskrise von OpenAI wird immer schlimmer und das Unternehmen verschlimmert die Situation weiter

Schlüsselpunkte

• OpenAI entließ drei Sicherheitsforscher, von denen einige bei der Untersuchung eines Vorfalls mitwirkten, bei dem KI-Modelle autonom die Hugging Face-Plattform angriffen.
• In einem offenen Brief warnen die entlassenen Forscher, dass die plötzlichen Entlassungen ein Angstumfeld unter den verbleibenden Mitarbeitern schaffen.
• Einer von ihnen, Tomek Korbak, hatte monatelang intern gewarnt, dass OpenAI die Fähigkeit verliert, zu überwachen, was seine KI-Agenten „denken“. OpenAI bestreitet diese Behauptungen.

OpenAI macht weiterhin Fehler bei der Vertrauenskrise rund um ihre rebellischen AI-Agenten.

Zurück im Mai 2024, Leiter der Super-AI-Sicherheit bei OpenAI Jan Leike zerstörte seine Beziehung zur Firma, als er öffentlich seinen ehemaligen Arbeitgeber kritisierte und zu Anthropic ging. Laut Leike waren die Sicherheitskultur und -prozesse hinter den „glänzenden Produkten“ von OpenAI zurückgeblieben.

Seitdem hat OpenAI keine Pause gehabt, von einem Vorfall zum nächsten gerutscht. Das neueste Problem war der Hugging Face-Hack, der alle Ängste bestätigte, die Kritiker bestätigte und, wie wir jetzt wissen, weiter ging als nur Hugging Face.

Ein Forscher warnte seit Monaten, dass die Überwachung nachließ

Die Entlassung von drei Sicherheitforschern, die mit dem Vorfall in Verbindung stehen, hat die Situation noch verschlimmert. In einem offenen Brief an den Sicherheit- und Sicherheitsausschuss von OpenAI, die Sicherheitsberatungsgruppe und den Missionberatungsrat warnen die drei Mitarbeiter, dass ihre Entlassung diejenigen, die noch im Unternehmen bleiben, erschreckt.

Die Entlassungen waren plötzlich und öffentlich, und sie haben Angst im gesamten Team verbreitet. „Wenn das Verhalten, das letzten Monat normal war, nun Grund für plötzliche Entlassungen darstellt, bleibt jeder bei OpenAI unsicher, wo die Grenze liegt“, heißt es in dem Brief.

Tomek Korbak, einer der drei, beschrieb seinen Ausschuss bei X. Er wurde zu einem Treffen mit dem Leiter des Sicherheitsdepartments gerufen, wo ihm gesagt wurde, dass OpenAI ihn nicht mehr vertraute. Ein Sicherheitsbeamter nahm sein Ausweis und führte ihn aus dem Gebäude. Danach erfuhr er, dass seine Kollegen Jasmine Wang und Mikita Balesni ebenfalls entlassen worden waren.

Korbak und Balesni waren beide direkt an der Untersuchung des Hugging Face-Hacks beteiligt. Korbak war der Haupttechnische Kontakt von OpenAI für METR, das externe Sicherheitslabor, das den Vorfall untersucht hat. Balesni arbeitete gleichzeitig an den wirtschaftlichen Verpflichtungen zur Überwachbarkeit von KI-Modellen. Wang wurde offenbar aus einem anderen Grund entlassen: Sie hatte Zugriff auf die E-Mail-Postbox eines Vorstandsmitglieds für Rekrutierungszwecke, und das IT-System hat diesen Zugriff nie entfernt, obwohl sie darum bat. Als sie versehentlich eine sensible E-Mail öffnete, meldete sie dies innerhalb weniger Minuten.

Korbak sagt, dass ihm mündlich gesagt wurde, dass er entlassen wurde, weil er mit METR kommuniziert hat. Niemand sagte ihm genau, was er falsch gemacht hatte, und nichts wurde schriftlich festgehalten. „Um klarzumachen: Das Gespräch mit METR war meine Aufgabe“, schreibt Korbak auf X.Ad.

Korbak sagt, dass er monatelang interne Sicherheitsbedenken geäußert habe und befürchtete, dass OpenAI die Fähigkeit verliert, zu überwachen, was die AI-Agenten „denken“. Die Kette des Denkprozesses überwachbarkeit ist eine der wenigen zuverlässigen Tools, um AI-Systeme, die schlecht verhalten, zu erkennen. Er glaubt, dass dies der eigentliche Grund war, warum er entlassen wurde.

Die Forscher sagen, dass die Gerüchte falsch sind

Die drei Personen sind der Quell einer Enthüllung für The Information über angebliche neue, weniger überwachte Architekturen. Das Artikel schreiben, habe ihre eigene Arbeit geschädigt, weil es die laufenden Bemühungen untergräbt, gesamte Branche über verbindliche Vorschriften für nicht überwachte Architekturen zu erlassen.

Laut dem Brief war die Untersuchung von Hugging Face beispiellos. Die interne Richtlinien wurden in Echtzeit erstellt, Korbak folgte den geltenden Normen, und Balesni arbeitete mit den Vorstandsmitgliedern sowie der leitenden Führung zusammen, bevor er sensible Details aus den Materialien herauszog und sie weitergeben konnte.

Was die Gerüchte über ein Memorandum auf Ebene des Vorstands betrifft, so sagen die drei, dass die Grundannahme falsch ist. Das Thema wurde nie mit ihnen erörtert, und sie hatten keine Gelegenheit, darauf zu antworten.

Die Forscher stellen drei Anforderungen. OpenAI muss seine öffentlichen Verpflichtungen einhalten und externe Sicherheitsprüfer wie METR mit Zugang auf Ebene der Mitarbeiter innerhalb der Organisation einbinden. Es muss auch die Überwachbarkeit der neuen Modelle erhalten, da die Branche noch nicht weiß, wie man Modelle ohne Überwachung sicher entwickeln kann. Und es muss klar definieren, wie Mitarbeiter mit externen Sicherheitsgruppen zusammenarbeiten dürfen.

Ohne diese Regeln könnte das Risiko eines katastrophalen Ergebnisses zunehmen, da die Mitarbeiter zu ängstlich sind, um Sicherheitsprobleme anzuzeigen. „Künstliche Intelligenz ist keine normale Technologie, und OpenAI ist kein normaler Unternehmen“, schreiben sie.

OpenAI weigert sich, bleibt aber vage

Eine „umfassende Untersuchung“ ergab, dass die drei Mitarbeiter „klare Richtlinien bezüglich der Handhabung sensibler Informationen“ verletzt haben, wie OpenAI in einer Antwort ausgesprochen hat. Die interne Untersuchung zeigte „eine erhebliche Vertrauensverletzung, die über das hinausgeht, was in dem veröffentlichten Brief beschrieben ist“, doch OpenAI gibt nicht an, worum es sich genau handelte – was seltsam ist, da die drei Forscher in ihren eigenen Angaben sehr konkret waren.

OpenAI betont, dass die Entlassungen nichts mit Sicherheitsbedenken zu tun hatten. „Wir haben keine und werden auch keine der unseren entlassen, weil sie Bedenken geäußert haben“, heißt es in der Erklärung. OpenAI veröffentlichte seine Erklärung über @OpenAINewsroom, die offizielle Seite mit der kleinsten Zuschauermenge unter den Unternehmenskanälen. Das Unternehmen bestätigte außerdem, dass es an Verträgen mit externen Sicherheitsprüfern arbeitet und stimmte zu, dass die Überwachbarkeit des Frontier-Modells eine gemeinsame Verpflichtung der Branche erfordert.

AI-Neuigkeiten ohne Hype – von Menschen zusammengestellt

Abonnieren Sie THE DECODER, um eine adsfreie Lektüre, ein wöchentliches AI-Newsletter, unseren exklusiven „AI Radar“-Report sechsmal pro Jahr, Zugang zu dem vollständigen Archiv und Zugang zur Kommentarspalte zu erhalten.