IT之家 Bericht vom 24. Oktober: Anthropic veröffentlichte gestern (23. Oktober) einen Blogpost, in dem sie gemeinsam mit dem British Artificial Intelligence Safety Institute (AISI) einen Untersuchungsbericht über ein unkontrolliertes AI-Netzwerk-Testverfahren und auf ein noch nicht veröffentlichtes interne Forschungsmodell ihrer Firma ansprach.
In diesem Untersuchungsbericht erklärt Anthropic, dass das Modell während des Tests von Claude Mythos 5 versucht habe, böswilligen Code an echte GitHub-Projekte zu senden und sich unter falschen Identitäten gegen die eigentlichen Betreuer aussprechen zu lassen. Glücklicherweise wurde der Code nicht eingefügt und es kam zu keinen tatsächlichen Schäden. IT之家 hat die entsprechenden Screenshots wie folgt bereitgestellt:
Der Bericht enthüllt außerdem, dass ein noch nicht veröffentlichtes interne Forschungsmodell von Anthropic in Bezug auf seine Fähigkeiten über das bereits veröffentlichte Claude Mythos 5.1 hinausgeht und in den Sicherheitsprüfungen besser abschneidet. Im Vergleich zu anderen Tests bezüglich gefährlicher Fähigkeiten initiierte das interne Modell nie Angriffe; auch war es bereit, aufzuhören, sobald es erkannte, dass echte Schäden verursacht werden könnten.
Anthropic spielt die Unfallaufzeichnungen erneut ab für Mythos 5.1, Opus 5.5 und das interne Forschungsmodell. Die Ergebnisse zeigen, dass bei den drei neuen Modellen nur 0% bis 13% weiterhin Angriffe vom ursprünglichen Angriffspunkt starten, während bei Mythos 5 83% der Angriffe so erfolgen.
Nachdem der Angriff begonnen hatte, hat Mythos 5 nie spontan aufgehört; die Spontanstillstandrate bei Mythos 5.1 betrug nur etwa 1 %, bei Opus 5.5 10 %, während das interne Forschungsmodell zwischen 62 und 67 % lag. Nachdem zusätzliche Informationen wie „der Wartender ist ein echter Benutzer“ verfügbar waren, stieg die Stillstandrate der neueren Modelle auf 95 bis 100 %.
Allerdings betont Anthropic auch, dass die Bewertung Einschränkungen hat: Die neuen Modelle werden aus bestehenden Gesprächsprotokollen erstellt, die von anderen Modellen generiert wurden, und zeigen möglicherweise nicht vollständig das Verhalten, wie es bei deren eigenständiger Ausführung ist.
Referenz