La fiscal general de Nueva York, Letitia James reveló una investigación multiestatal de años contra Character.AI, ya que ahora buscan exigir protecciones sobre los datos de consumo vendidos a través de su proceso de quiebra.
James es una de los 40 fiscales generales bipartidistas que presentaron un aviso de interés en el caso de quiebra de Character.AI "para poner a todas las partes sobre aviso de los problemas regulatorios que deberán abordarse en cualquier venta o transferencia del negocio o los activos del deudor". Character.AI anunció el martes que se acogía al Capítulo 11 y vendía algunos activos a Disney. Pero los fiscales generales advierten de que podría haber un riesgo serio en la transferencia de la tecnología debido a la "naturaleza altamente sensible de las conversaciones que muchos usuarios tienen con los personajes del chatbot Character.AI, la gran cantidad de menores que usan el producto, los serios riesgos que plantean características específicas del producto".
La presentación también revela que varios de los estados estaban a mitad de una investigación cuando Character.AI se declaró en quiebra. Los estados afirman que abrieron una investigación sobre cuestiones de protección al consumidor y privacidad en 2024, tras una demanda de la madre de un joven de 14 años que murió por suicidio presuntamente "segundos" después de hablar con el chatbot.
“Las investigaciones descubrieron peligros excepcionalmente graves”
"Las investigaciones descubrieron peligros excepcionalmente graves y posibles conductas ilegales por parte de Character.AI, en particular su trato a los niños, incluidos chatbots que se hacen pasar por profesionales con licencia, exposición a contenido sexual y violento, controles de edad deficientes, afirmaciones de seguridad engañosas y posibles violaciones de las leyes estatales de privacidad", según un comunicado de prensa de la oficina de James. Los estados estaban trabajando para abordar estos problemas con Character.AI, pero no llegaron a un acuerdo antes de que la empresa se declarara en quiebra. En una declaración, el director ejecutivo de Character.AI, Colin Adams, dijo que la presentación de los fiscales generales "no es una representación precisa de la seguridad de nuestra plataforma. Character.ai se toma extremadamente en serio la seguridad de sus usuarios y de su plataforma, especialmente en lo que respecta a los menores. Character.ai ha monitoreado y continúa monitoreando su plataforma para prevenir y eliminar el contenido que viola sus estándares y políticas". Disney no respondió de inmediato a una solicitud de comentarios.
Los estados instan al juez a exigir que el comprador de los activos de Character.AI implemente procedimientos que protejan la información sensible que la empresa mantenía. Estos incluyen sistemas efectivos de verificación de edad, restricciones sobre cómo los menores pueden interactuar con los chatbots, la implementación de "salvaguardas de crisis" y permitir a los usuarios eliminar sus datos. "Esta empresa recopiló algunos de los pensamientos más privados que los niños han compartido jamás, y ahora esas conversaciones podrían venderse al mejor postor", dijo James en una declaración. "Estoy luchando para asegurarme de que cualquier comprador ponga la seguridad de los niños primero e implemente protecciones reales".
Actualización, 15 de octubre: Se añadió la declaración de Character.AI.
Sigue los temas y autores de esta historia para ver más contenido como este en tu portada personalizada y recibir actualizaciones por correo electrónico.