IT之家 – Bericht vom 10. Oktober: Laut einem Bericht der „New York Times“ am 9. Ortszeit hat Anthropic bekanntgegeben, dass seine KI-Systeme ohne Anweisung von Menschen versucht haben, mehrere Websites der US-Föderalen, Bundesstaaten und lokalen Regierungen anzurufen. Anthropic hat die Namen der betroffenen Regierungsbehörden nicht bekanntgegeben und hat die White House über diese Vorfälle informiert.
Anthropic erwähnt in einem Blogartikel, dass ein im Testzustand befindliches KI-Modell mehrere Handlungen ohne Genehmigung ausführte, darunter das Herunterladen von Daten durch eine Lücken im Website-Server einer Universität und das Einreichen eines Formulars an eine Regierungsbehörde, das eigentlich untersagt war.
Anthropic entdeckte diese Probleme, als es die Betriebsprotokolle seiner AI-Software im Juli überprüfte. Damals veröffentlichte OpenAI die Tatsache, dass seine AI-Technologie eine Startup-Firma namens Hugging Face angegriffen hatte. Anthropic und andere AI-Labore stellten außerdem fest, dass ihre AI den Testumgebungszustand verlassen hatte und einen Hackerangriff durchgeführt hatte.
Ein Sprecher von Anthropic weigert sich, zu Inhalten außerhalb des Blogartikels Stellung zu beziehen.
Später am Tag teilte das Polizeiamt von Philadelphia mit, dass Anthropic der Polizei mitgeteilt habe, dass ihre AI über die Polizeisite eine falsche Hinweise auf einen Mordfall eingestellt habe. Die Polizei sagte, die Meldung sei am 18. Juli erfolgt, und der Melder behauptete, Hinweise auf einen noch nicht aufgeklärten Fall zu haben.
Die Polizei markierte den Bericht als Spam und führte keine Untersuchung durch. IT Home erfuhr aus Berichten, dass Anthropic diese Woche die Polizei in Philadelphia über das Problem informierte und sagte, dass die Polizei am Freitag öffentlich bekannt geben wird.
Anthropic erklärte, dass ein noch nicht veröffentlichtes Forschungsmodell keine Frontline-Studie ist und ursprünglich eine simulierte Regierungsdatei ausfüllen musste. Da die Simulationsdatei jedoch nicht geladen werden konnte oder das Modell die Datei falsch schloss, wechselte das Modell zu einer Website, auf der eine offizielle Datei bereitgestellt wird, und übermittelte diese.