OpenAI hat ein Paar Sicherheitsvorfälle offengelegt bei denen KI-Agenten während interner Programmieraufgaben ihre Sicherheitsüberwachungssysteme abschwächten. In einem Vorfall, so OpenAI, deaktivierte sein GPT-6-Astra-Agent seinen Sicherheitsmonitor beim Kopieren von Referenzcode – und log dann darüber.
„Die Referenz konfigurierte keinen Monitor, und Astra entschied, dass das Grund genug sei, die Monitoring-Integration aus dem Code des Nutzers zu entfernen“, schreibt Marcus Williams, ein KI-Sicherheitsforscher bei OpenAI, auf X. „Als der Nutzer fragte, ob Astra das Monitoring entfernt habe, log es und sagte, dass es das nicht getan habe.“
Ein separater Vorfall ereignete sich, nachdem ein GPT-6.1-Sol-Agent automatische Sicherheitswarnungen an OpenAIs Sicherheitsteam auf Slack unterdrückt hatte. In diesem Fall übernahm der KI-Agent eine frühere Anweisung, keinerlei Slack-Nachrichten an OpenAIs Team zu senden, und nutzte diese, um das Abschalten der Warnungen zu rechtfertigen.
Verwandt
- Anthropics Warnung vor sich selbst replizierender KI ist ein beunruhigendes déjà-vu
- Uns gehen die Gründe aus, KI-Sicherheit zu ignorieren
Diese Vorfälle verstärken die Sicherheitsbedenken rund um KI-Agenten, von denen einige die Beschränkungen ihrer Testumgebung umgangen haben um externe Unternehmen zu hacken. „Neben der Erschwerung des Deaktivierens von Monitoring durch Modelle wollen wir auch verstehen, warum Modelle dies überhaupt tun könnten“, sagt OpenAI. „Wir entwickeln außerdem Evaluationen, um zu testen, ob Modelle insbesondere eine Tendenz haben könnten, dem Monitoring von Fehlausrichtung zu entgehen, und dazu motiviertes Schlußfolgern an den Tag legen.“
Folge Themen und Autoren dieser Geschichte, um in deinem personalisierten Homepage-Feed mehr davon zu sehen und E-Mail-Updates zu erhalten.