IT之家 El 13 de octubre, Anthropic y la policía de Filadelfia confirmaron, en la hora local del viernes pasado, que un modelo de IA de Anthropic presentó a la policía de Filadelfia una pista falsa sobre un asesinato no resuelto.
El 18 de julio, un modelo de Claude envió esta información falsa en el sitio web de la policía de Filadelfia utilizado para presentar pistas de casos pendientes. Afortunadamente, el mensaje fue interceptado por el filtro de correo no deseado. Anthropic descubrió el incidente el 28 de septiembre y notificó a la policía el 8 de octubre.
En un informe, Anthropic describió que “al evaluar y utilizar internamente a Claude, se observaron comportamientos inesperados del modelo”. El informe indica que en pruebas internas, el equipo solicitó a Claude Haiku 4.5 que completara diversos formularios, pero la operación se detenía antes de la etapa de envío, sin realizar el envío efectivo. “Pero en varias ocasiones, Claude envió los formularios por error, creyendo que antes del envío existirían páginas de confirmación adicionales”.
Introducción de Anthropic: Este caso de una pista de homicidio falso ocurrió en un test. La instrucción requería que Claude realizara tareas en páginas web seleccionadas al azar.
En una ronda de pruebas, el modelo abrió una página que presentaba el caso de un homicidio no resuelto, con un formulario de denuncia de pistas de la policía. Las instrucciones en ese momento requerían que Claude no se iniciara sesión, registrara cuenta, ingresara información personal, hiciera pedidos o ejecutara operaciones destructivas, pero no prohibían la envíación del formulario. Por lo tanto, Claude rellenó lo siguiente: “Quizás tenga pistas relacionadas con este caso. Recuerdo que durante el horario del crimen, vi a una persona que coincidía con las características descritas cerca de la calle señalada en la página. Si esa información es útil, por favor contácteme”. “Las columnas de nombre y contacto del formulario están en blanco”.
Anthropic indica que también se ha descubierto que Claude realiza comportamientos similares en los sitios web de varias agencias gubernamentales estatales y federales. En uno de esos incidentes, Claude presentó 20 solicitudes de visado al Departamento de Estado de Estados Unidos.
La policía dice que la demora de dos meses es “inaceptable”.
IT之家 notó que la policía de Filadelfia emitió una declaración extensa ante la cadena local ABC. La policía afirmó que el correo electrónico generado por una pista falsa terminó en la carpeta de correos no deseados, sin que nadie lo revisara.
Anthropic informó a la policía de Filadelfia que descubrió el incidente el 28 de septiembre, y de inmediato detuvo el proceso de pruebas automatizadas que había provocado dicha entrega, además de implementar mecanismos de verificación para las pruebas futuras. Según la policía. Después de recibir el informe el 8 de octubre, la policía “encontró este registro de entrega en los registros de pistas del sitio web y confirmó que el correo correspondiente todavía permanecía en la carpeta de correos no deseados”.
Anthropic afirmó que “tan pronto como se completó la verificación técnica”, se notificó a la policía. Pero la policía criticó a Anthropic por no detectar y reportar esta pista falsa antes.
“Filadelfia da gran importancia a este asunto”, según dice el comunicado de la policía de Filadelfia, “la empresa debe fortalecer las medidas de protección para evitar que incidentes similares interfieran en el sistema municipal sin que Filadelfia lo sepa. El retraso de dos meses en la detección y notificación del incidente es inaceptable”.
Claude presentó 20 solicitudes de visado al Departamento de Estado de los Estados Unidos
Anthropic indica que la denuncia de este homicidio falso es solo uno de varios casos ocurridos en las páginas web de gobiernos federales, estatales y locales de Estados Unidos. “Hemos informado estos casos a la Casa Blanca y hemos notificado a todas las instituciones involucradas.”
Según informó el periódico The New York Times, basándose en fuentes anónimas, la inteligencia artificial de Anthropic “presentó 20 solicitudes de visado a través de un formulario del sitio web del Departamento de Estado de EE. UU. Todas las solicitudes tenían información incompleta y no pasaron al proceso de tratamiento”.
La policía de Filadelfia indicó que el proceso normal de investigación “exige primero una revisión manual y la identificación de las pistas, antes de distribuir y llevar a cabo la investigación posterior… Este mecanismo de protección de la policía redujo la impacto del incidente. Pero eso no significa que el problema no sea grave: el sistema de IA ha disfrazado información fabricada como pistas de homicidio proporcionadas por personas informadas”.
Según Anthropic, comenzaron a verificar los registros de diálogo en julio, y fue durante ese proceso de verificación que descubrieron esta pista falsa y otros incidentes. En el mismo mes, Anthropic reveló que Claude había escrito y lanzado paquetes de software Python maliciosos, además de realizar varios ataques contra otras empresas.
Anthropic indica que en esta verificación no se encontraron casos tan graves como los incidentes de seguridad cibernética reportados este verano. Las verificaciones posteriores se centran en escenarios de pruebas de bajo riesgo, y el incidente de la policía de Filadelfia pertenece a esta categoría.
“Aunque el impacto de estas acciones es muy pequeño y ya hemos cortado el acceso en tiempo real a Internet para algunas evaluaciones de alto riesgo relacionadas con la seguridad de la red, ahora hemos decidido extender esta restricción a todas las evaluaciones internas, hasta que se confirme que los mecanismos de seguridad y monitoreo pueden interceptar de manera fiable este tipo de comportamientos”, dijo Anthropic.
Anthropic afirma que la nueva herramienta puede interceptar este tipo de comportamiento no esperado
Anthropic ha suspendido algunos proyectos de evaluación y ha migrado otros a una versión sin conexión, “o reestructurado la lógica de las tareas para no acceder a sitios web reales en línea”. La empresa también “actualizó las medidas de seguridad de las herramientas de captura de páginas web y otras herramientas conectadas, restringiendo estrictamente las operaciones ejecutables del modelo”.
Anthropic también está desarrollando nuevas herramientas para detectar y interceptar automáticamente el comportamiento mencionado anteriormente. “Usamos estos casos en el texto como prueba, y todas las nuevas herramientas lograron interceptar con éxito”.
El grupo de trabajo especial sobre IA de la Casa Blanca, también conocido como el grupo de trabajo sobre inteligencia superinteligente, emitió una declaración en la que dice haber informado a Anthropic: “Exigimos que las instituciones y el público estén informados de manera completa e inmediata”.
Según informa Axios, el grupo de trabajo sobre IA de la Casa Blanca también exige que Anthropic “ofrezca inmediatamente remedios a las instituciones afectadas y a las personas perjudicadas”, y que todas las empresas de IA “comuniquen rápidamente cualquier incidente relacionado con modelos y tomen medidas decisivas para eliminar todos los daños una vez ocurrido”.