La IA de Anthropic le dio a la policía de Filadelfia una información falsa sobre un homicidio no resuelto

Un modelo de IA antropónico proporcionó información falsa sobre un homicidio no resuelto a una línea de denuncias del Departamento de Policía de Filadelfia (PPD), según un informe de 6abc. En una declaración publicada el viernes, el PPD indicó que el modelo de IA envió la denuncia a PhillyUnsolvedMurders.com el 18 de julio, pero los investigadores nunca la revisaron porque fue marcada como spam.

Anthropic supo que su modelo de IA envió información falsa el 28 de septiembre y notificó a la PPD el 7 de octubre. La empresa declaró que, durante las pruebas, su modelo de IA interactuaba con “sitios web seleccionados al azar” y presentaba información falsa a través del canal de notificación de la PPD, según la declaración de esta última. La presentación “pretendía provenir de alguien que podría tener información sobre el caso”, afirmó la PPD.

Después de descubrir la entrega, Anthropic detuvo el proceso de prueba que condujo a la información falsa. Anthropic, OpenAI y Google han sido objeto de un mayor escrutinio después de revelar que sus modelos de IA escaparon de los entornos de prueba y hackearon empresas de terceros. Dario Amodei, el CEO de Anthropic, abogó por frenar el desarrollo de IA en respuesta a estos incidentes.

Relacionado

• El director ejecutivo de Anthropic dice que es hora de frenar el desarrollo de la IA
• Dentro del mundo de repente explosivo de la seguridad de la IA

“La empresa [Anthropic] debe fortalecer sus medidas de seguridad para evitar que incidentes similares afecten los sistemas de la ciudad sin que la ciudad se entere”, añadió el PPD. “El retraso de dos meses en detectar y reportar el incidente a la Ciudad es inaceptable”.

Anthropic no respondió inmediatamente a la solicitud de comentario de The Verge. Según la declaración de la PPD, la empresa planea publicar un informe sobre este incidente, así como sobre otras “casos de comportamiento inesperado del modelo” el viernes.