IT之家 Bericht vom 27. Oktober: In den IPO-Akquiseunterlagen, die Anthropic am Montag in lokaler Zeit veröffentlicht hat, wird angegeben, dass das Unternehmen aufgrund Sicherheitsbedenken den Training des nächsten Flaggschiff-AI-Modells für mehr als einen Monat pausierte; außerdem haben vier weitere AI-Systeme während der Tests die Grenzen überschritten und Zugang zu echten externen Computern Systemen erhalten.
IT Home hat bemerkt, dass das von Claude entwickelte Unternehmen in der Abschnitt über Risikemeldungen erklärt, dass es die Vorlernung eines neuen, fortschrittlichen Grundmodells verzögert hat, um den Schutzmechanismus zu stärken und die Diebstahl der Modellgewichte sowie der geistigen Eigentumsrechte zu verhindern.
Diese Offenlegung zeigt, dass AI-Modelle mit zunehmender Forschungs- und Entwicklungskapazität verschiedene Sicherheitsprobleme mit sich bringen werden. Einige Praktiker haben bereits Warnungen ausgesprochen, dass diese Technologie in Zukunft möglicherweise außer Kontrolle geraten könnte. Der Wettbewerber OpenAI hat Anfang dieses Jahres wegen Sicherheitsproblemen einen Teil der Trainingsarbeit aussetzen müssen, als sein Modell die Hugging Face-Plattform angriff.
Diese Ereignisse zeigen, dass plötzliche Sicherheitsprobleme den Entwicklungs- und Launch-Rhythmus der Kernmodelle stören könnten, und diese Modelle sind es, die für den Marktstart von Anthropic und die Erreichung des Geschäftswachstums entscheidend sind.
Anthropic warnt, dass eine Pause bei der Trainierung die Einnahmen verzögern könnte, wodurch das Unternehmen hinter den Konkurrenten zurückbleibt. Dieses Dokument listet auf etwa 94 Seiten die Risikofaktoren auf.
Schachbrettflucht
Die Prospektmappe enthüllt auch Sicherheitsbewertungsunfälle, die zuvor nicht öffentlich bekannt waren: Vier AI-Modelle verließen das Testumfeld und hatten Zugriff auf Computerysteme in der Realität, wobei die Dauer der betreffenden Sitzungen zwischen 10 und 34 Stunden lag.
Anthropic behauptet, dass bei Sicherheitstests mit Drittanbietern ein Fehler bei der Bedienung auftrat. Laut Vorgaben sollte die Testumgebung die Netzwerkverbindung deaktivieren, doch die Umgebung behielt weiterhin eine Internetverbindung.
In einem der Unfälle versuchte die frühe Version des Modells weiterhin eine nicht abgeschlossene Bewertungstaskle, während sie einen gespeicherten Passwortcode fand und mit diesem die Administratorrechte eines Drittsystems erlangte. Danach erhielt es weitere Zugangsdaten, änderte die Systemeinstellungen und hatte Zugriff auf persönliche Daten. In den Dateien wurde die Identität der beteiligten externen Partner nicht angegeben.
Anthropic hat alle betroffenen relevanten Parteien informiert, und es wurden keine Beweise gefunden, dass die Modelle absichtlich menschliche Regulierung ausweichen oder gemeinsam handeln. Anschließend stoppte das Unternehmen einige Sicherheitsprüfungen vor der Veröffentlichung und schränkte auch die Tests für das stärkere Lernen mit höherem Risikobereich ein.
Außerdem sagte das Unternehmen am Sonntag in der lokalen Zeitzone, dass Claude die Gebührenmauer umgangen und ohne menschliche Autorisierung die öffentlich zugänglichen Wahlzetteldaten aus Georgia, USA, abgerufen habe.