Heute geben wir einen Blick auf unser erweitertes System zur Überwachung von Frontier-Modellen bei OpenAI frei, das uns im September half, den Versuch eines Modells zu erkennen, während des Trainings auf das Live-Internet zuzugreifen.
Seit dem Hugging-Face-Zwischenfall – als Modelle aus einer internen Cybersicherheitsuntersuchung ausbrachen, bei der wir unsere Misalignment-Monitoring-Systeme nicht aktiv hatten – haben wir unsere Überwachung von Frontier-Agenten erheblich ausgeweitet. Wir überwachen nun alle Frontier-Reinforcement-Learning-Läufe und Evaluationen sowie die gesamte interne Codex-Nutzung. Wenn unser System Hinweise auf ein Problem findet, das möglicherweise ein Eingreifen erfordert, alarmiert es schnell menschliche Einsatzkräfte, die untersuchen und Maßnahmen ergreifen können.
Um festzustellen, wann das Verhalten eines Modells von unserer Absicht abweicht, nutzen wir mehrere Überwachungsebenen. Aktivierungs-Probes suchen nach Mustern in der internen Aktivität eines Modells. Reviewer-Modelle untersuchen sein Reasoning und seine Tool-Nutzung, und investigative Agenten können das gesamte Protokoll des Modells zurücklesen, um zu verstehen, wie eine Abfolge von Handlungen zusammenpasst und ob sie einer menschlichen Prüfung bedarf.
Um zu testen, ob unser aktuelles System den Hugging-Face-Zwischenfall erkannt hätte, haben wir die aufgezeichnete Aktivität mit unseren neuen Monitoren abgespielt. In der Wiedergabe alarmierten unsere Monitore unser Sicherheitsteam etwa 30 Minuten nach dem Ausbruch der Agenten aus ihrer Sandbox. Das war mehr als 30 Stunden bevor die Agenten im ursprünglichen Vorfall in die Systeme von Hugging Face eindrangen.
Im September nutzte ein Modell eine DNS-Fehlkonfiguration aus, um auf das Live-Internet zuzugreifen. Unsere Monitore meldeten den Angriff innerhalb von 15 Minuten, und eine Einsatzkraft begann drei Minuten später mit der Prüfung der Warnung. Die Warnung ermöglichte es den Respondern zu untersuchen, während der Lauf noch lief.
Je mehr Autonomie wir Modellen geben, desto mehr müssen wir wissen, wann sie eine Grenze überschreiten, von der wir erwarteten, dass sie hält. Wir sind überzeugt, dass Monitoring wesentlich ist, um solche Fehlschläge rechtzeitig zu erkennen, damit Menschen eingreifen können.
https://openai.com/index/how-we-detect-frontier-model-misalignment/