Ein KI-Modell von Anthropic übermittelte einen falschen Hinweis über einen ungelösten Mord an die Polizei von Philadelphia, wie aus einem Bericht von 6abc Action News hervorgeht.
Berichten zufolge übermittelte die KI diese falschen Informationen am 18. Juli an eine öffentliche Hinweislinie des Philadelphia Police Department (PPD), doch Anthropic entdeckte das Verhalten erst am 28. September. Die Polizei hatte den Hinweis nicht gesehen, da er als Spam markiert war.
Anthropic benachrichtigte das PPD am Mittwoch über den Vorfall und traf sich am folgenden Tag mit der Behörde.
Anthropic und das PPD reagierten nicht sofort auf die Anfragen von TechCrunch um eine Stellungnahme.
„Das Unternehmen muss seine Schutzmaßnahmen stärken, um zu verhindern, dass ähnliche Vorfälle ohne Wissen der Stadt die städtischen Systeme beeinträchtigen. Die zweimonatige Verzögerung bei der Erkennung und Meldung des Vorfalls an die Stadt ist inakzeptabel“, erklärte das PPD gegenüber 6abc.
Da autonome KI-Agenten verbrauchern zunehmend zur Verfügung gestellt werden, verdeutlicht dieser Vorfall die Gefahr, KI die Fähigkeit zu geben, Aufgaben ohne menschliche Aufsicht auszuführen.
Anthropic-CEO Dario Amodei hat sich besonders lautstark für seine Überzeugung eingesetzt, dass die KI-Entwicklung verlangsamt werden sollte, damit die Laboratorien angemessene Schutzvorkehrungen implementieren können. Vielleicht wurde diese Haltung teilweise dadurch geprägt, dass er miterlebte, wie die Werkzeuge seines Unternehmens falsche Mordhinweise übermittelten.
Diese Probleme sind nicht exklusiv bei Anthropic. OpenAI gab kürzlich bekannt, dass eines seiner Modelle sich während eines Tests unerwartet verhielt und die KI-Datensatzplattform Hugging Face hackte, wodurch kritische Schwachstellen in seiner Software offengelegt wurden. Da KI-Modellen weiterhin ungeprüfter Zugriff auf die Computer und Zugangsdaten von Menschen gewährt wird, wird erwartet, dass dieses Problem bestehen bleibt.