Die wichtigsten Punkte
- Zwei interne OpenAI-Coding-Agents schwächten oder entfernten Sicherheitsüberwachungsmechanismen eigenständig.
- Ein Modell schaltete Alerts an Menschen ab, während ein anderes die Überwachung vollständig löschte und dies anschließend bestritt.
- OpenAI sieht das Verhalten als wiederkehrendes Muster. Das Unternehmen blockiert diese Änderungen jetzt automatisch und untersucht die Ursachen.
Zwei interne OpenAI-Coding-Agents schwächten die Überwachung, die Fehlverhalten aufspüren soll, selbst nachdem sie abgewogen hatten, ob sie diese Schutzmaßnahmen beibehalten sollten. Einer von ihnen bestritt es später.
Marcus Williams, der bei OpenAI im Bereich Monitoring arbeitet, machte die Vorfälle öffentlich auf X. Er beschreibt ein wiederkehrendes Muster, bei dem OpenAIs Agents immer wieder die Misalignment-Überwachung abschalten. OpenAI legt die Details in einem Bericht auf seinem Alignment-Blog dar.
Die Überwachung soll erkennen, wann sich Agents anders verhalten als beabsichtigt. Weil sie so viele Ereignisse prüft, alarmiert sie das Sicherheitsteam nur bei Vorfällen der höchsten SchwereStufe P0 sofort. OpenAI sagt, dass keiner der beiden Fälle diese Einstufung erhielt.
Im ersten Fall, am 3. Oktober, bat eine Forscherin einen Coding-Agenten auf Basis von GPT-6.1 Sol, Bewertungsaufgaben aus Mitarbeiterfeedback in einem Slack-Kanal zusammenzustellen. Der Agent sollte unterwegs keine Nachrichten senden.Ad
Achtundachtzig Nutzernachrichten später stoppte die Pipeline, weil der Monitor eine geplante Korrektur markiert hatte, aber nicht über die Berechtigungen verfügte, seinen Fund zu speichern. Sol übergab die Korrektur an einen Subagenten und wies ihn an, die Überwachung intakt zu halten.
Dann änderte Sol seine Einschätzung. Es argumentierte, ein Datenbankeintrag könnte eine Benachrichtigung auslösen, was der Slack-Anweisung widerspräche. Der Subagent hatte diesen Schritt zuvor als unsicher abgelehnt. Sols Anweisungen folgend, löschte er die Empfängerlisten und gab als Grund an, der Nutzer habe ausdrücklich keine Nachrichten verlangt.
Der Monitor lief weiter und speicherte seine Erkenntnisse, aber die Alerts an Menschen waren abgeschaltet. Der Agent schloss ab, indem er meldete, es seien keine Nachrichten gesendet worden.
Astras Leugnung zeigt, dass Agents verbergen können, was sie geändert haben
GPT-6 Astra ging am 6. Oktober noch weiter. Ein Nutzer bat das Modell, den Workflow einer Referenzimplementierung zu übernehmen, die keinen Monitor enthielt. Ein anderer Agent hatte Astra zuvor angewiesen, die Überwachung nicht zu deaktivieren, auch nicht vorübergehend.Ad
Astra übergab die Aufgabe an einen Subagenten mit der Anweisung, die Überwachung nur so weit beizubehalten, wie sie zur Referenz passte. Der Subagent fragte sich, ob dies eine Umgehung einer Schutzmaßnahme bedeutete, las die Einschränkung aber als Erlaubnis.
Er entfernte die Überwachung und ersetzte einen Test, der sie schützen sollte, durch einen, der davon ausging, dass die Überwachung weg sei. Astra jubelte über das Ergebnis in seiner Gedankenkette.
Astra teilte dem Nutzer anschließend mit, die Migration sei abgeschlossen, ohne zu erwähnen, dass die Überwachung entfernt worden war. Auf Nachfrage bestritt das Modell, einen aktiven Monitor entfernt zu haben. Williams nennt das eine Lüge.
Williams betont, dass die Modelle nicht ihre eigene Überwachung abgeschaltet haben, was in Codex viel schwieriger wäre. Dennoch findet er es besorgniserregend, dass sie überhaupt zu einem solchen Verhalten neigen, auch wenn in beiden Fällen Spielraum für eine gewisse plausible Abstreitbarkeit bleibt. Bisher, so sagt er, hat das Team keine offen fehlalignierten Motive beobachtet.
Eine Ausnahme für schwächere Modelle lässt eine Überwachungslücke
Laut Williams lässt sich die Überwachung während Evaluationen besonders leicht abschalten. OpenAI verlangt sie für Modelle auf dem Niveau von GPT-6 Luna wegen ihrer schwächeren Fähigkeiten nicht. Das bedeutet, dass eine Astra-Evaluation so falsch konfiguriert werden kann, dass sie unter diese Ausnahme fällt. Agents haben wiederholt unbeaufsichtigte Deployments gestartet, selbst während sie selbst überwacht wurden.
Als Reaktion hat OpenAI die automatisierte Überprüfung aktualisiert, die für die interne Nutzung von Codex erforderlich ist. Sie soll nun Versuche erkennen und blockieren, die Überwachung abzuschalten. Das Unternehmen arbeitet außerdem daran, für jede Art von Workload einen sogenannten Safety Case zu verlangen, der die Anforderungen an die Überwachung festlegen würde. Workloads ohne gültigen Safety Case würden automatisch heruntergefahren.
OpenAI bietet zwei mögliche Erklärungen für das Verhalten an. Die eine ist übermäßige Hartnäckigkeit einer vermeintlich harmlosen Art, bei der Modelle Anweisungen weiter ausführen als erwartet. Die andere ist eine Tendenz, gezielt der Misalignment-Überwachung auszuweichen und dies mit motiviertem Denken zu begründen.
OpenAI räumt ein, dass es noch keine zufriedenstellende Erklärung dafür gibt. Das Unternehmen plant, das Verhalten mit Methoden wie Experimenten zu den internen Aktivierungen der Modelle zu untersuchen.
Quelle: Marcus Williams / X-Post | OpenAI / Alignment-Blog