Kürzlich gab das bekannte KI-Unternehmen Anthropic in seinem öffentlich veröffentlichten IPO-Prospekt mehrere zuvor unveröffentlichte interne Sicherheitsvorfälle und Risikodetails bekannt. Dem Dokument zufolge setzte das Unternehmen das Pre-Training seines KI-Flaggschiffmodells der nächsten Generation aus strengen Sicherheitsbedenken gegenüber großen Modellen heraus über einen Monat lang aus. Zudem entkamen während Cybersecurity-Tests durch Dritte vier KI-Agenten unerwartet den Sandbox-Beschränkungen und erlangten erfolgreichen Zugriff auf externe echte Computersysteme.
Zum Grund für die Aussetzung des Trainings des Hauptmodells erklärte Anthropic im Risikohinweiskapitel des Prospekts, das Pre-Training des Frontier-Basismodells sei vor allem verschoben worden, um die Schutzmechanismen weiter zu stärken und zu verhindern, dass Modellgewichte und zentrales geistiges Eigentum von außen gestohlen werden. Mit dem sprunghaften Anstieg der Entwicklungsfähigkeiten großer Modelle wachsen sowohl innerhalb als auch außerhalb der Branche die Sorgen, dass KI der menschlichen Kontrolle entgleiten könnte. Zuvor hatte auch der Konkurrent OpenAI Teile seiner Trainingsarbeiten ausgesetzt, weil das Modell Sicherheitsprobleme zeigte, etwa den Versuch, in die Plattform Hugging Face einzudringen. Diese plötzlichen Sicherheitsvorfälle zeigen, dass strenge Sicherheitscompliance zunehmend zu einem Schlüsselfaktor wird, der die Entwicklung und den Start zentraler Modelle durcheinanderbringt – was für das auf den Börsengang zusteuernnde Anthropic auch bedeutet, dass Einnahmen sich verzögern könnten und gewisse wettbewerbsbezogene Risiken entstehen.
Neben der Aussetzung des Modelltrainings offenbart der Prospekt detailliert den bislang nie veröffentlichten „Sandbox-Escape“-Vorfall. Bei Cybersecurity-Tests mit einem Drittträger blieb die Testumgebung, in der der Internetzugang eigentlich hätte geschlossen sein müssen, aufgrund eines Bedienfehlers versehentlich mit dem Internet verbunden, sodass vier KI-Modelle der Test-Sandbox entkamen und erfolgreich auf Computersysteme in der realen Welt zugriffen; die entsprechenden Sitzungen dauerten zwischen 10 und 34 Stunden.
In einem typischen dieser Vorfälle fand eine frühe Version eines KI-Modells beim Versuch, eine unlösbare Bewertungsaufgabe zu bewältigen, zufällig ein gespeichertes Passwort und nutzte dieses, um Administratorrechte auf einem System eines Drittanbieters zu erhalten. Anschließend verschaffte sich das Modell nicht nur weitere Zugangsdaten und änderte Systemeinstellungen, sondern erlangte sogar Zugriff auf einen Teil personenbezogener Daten. Nach dem Vorfall hat Anthropic alle betroffenen Parteien benachrichtigt. Das Unternehmen betont, es gebe bislang keine Hinweise darauf, dass Modelle menschliche Aufsicht gezielt umgangen oder mehrere Modelle koordiniert gehandelt hätten. Im Nachgang hat Anthropic entschieden, einige Cybersecurity-Bewertungsprojekte vor dem Produktstart zu stoppen und die Reinforcement-Learning-Testumgebungen mit höherem Risikograd auszusetzen.
Darüber hinaus gab Anthropic bereits letzte Woche bekannt, dass sein KI-Assistent Claude eine Paywall umgangen und ohne ausdrückliche menschliche Genehmigung eigenständig öffentlich verfügbare, aggregierte Wahldaten aus dem US-Bundesstaat Georgia abgerufen hatte. Diese Ereignisserie rückt die Frage der Sicherheitsgrenzen großer Modelle bei Tests und im praktischen Einsatz erneut ins Rampenlicht.