La procureure générale de New York, Letitia James a révélé une enquête multi-États menée depuis des années contre Character.AI, alors qu'elle cherche désormais à exiger des protections sur les données des consommateurs vendues dans le cadre de sa procédure de faillite.
James fait partie des 40 procureurs généraux bipartites qui ont déposé un avis d'intérêt dans le dossier de faillite de Character.AI « pour mettre toutes les parties au courant des questions réglementaires qui devront être traitées dans toute vente ou tout transfert des activités ou des actifs du débiteur. » Character.AI a annoncé mardi qu'elle déposait le bilan en vertu du chapitre 11 et vendait certains actifs à Disney. Mais les procureurs généraux avertissent qu'il pourrait y avoir des risques sérieux liés au transfert de la technologie en raison de « la nature hautement sensible des conversations que de nombreux utilisateurs ont avec les personnages chatbots de Character.AI, du grand nombre de mineurs qui utilisent le produit, des risques graves posés par des fonctionnalités spécifiques du produit. »
Le dépôt révèle également que plusieurs États étaient en pleine enquête lorsque Character.AI a déposé le bilan. Les États affirment avoir ouvert une enquête sur des questions de protection des consommateurs et de confidentialité en 2024, à la suite d'une plainte de la mère d'un adolescent de 14 ans mort par suicide prétendument « quelques secondes » après avoir discuté avec le chatbot.
« Les enquêtes ont révélé des dangers exceptionnellement graves »
« Les enquêtes ont révélé des dangers exceptionnellement graves et des comportements potentiellement illégaux de la part de Character.AI, en particulier sa façon de traiter les enfants, notamment des chatbots se faisant passer pour des professionnels agréés, une exposition à des contenus sexuels et violents, des vérifications d'âge faibles, des allégations de sécurité trompeuses et des violations potentielles des lois des États sur la confidentialité », selon un communiqué de presse du bureau de James. Les États travaillaient à résoudre ces problèmes avec Character.AI, mais n'ont pas trouvé d'accord avant que l'entreprise ne dépose le bilan. Dans une déclaration, le PDG de Character.AI, Colin Adams, a déclaré que le dépôt des procureurs généraux « n'est pas une représentation fidèle de la sécurité de notre plateforme. Character.ai prend la sécurité de ses utilisateurs et de sa plateforme extrêmement au sérieux, en particulier en ce qui concerne les mineurs. Character.ai surveille, et continue de surveiller, sa plateforme pour prévenir et supprimer les contenus qui violent ses normes et ses politiques. » Disney n'a pas immédiatement répondu à une demande de commentaire.
Les États exhortent le juge à exiger de l'acheteur des actifs de Character.AI qu'il mette en place des procédures pour protéger les informations sensibles détenues par l'entreprise. Cela comprend des systèmes efficaces de vérification d'âge, des restrictions sur la manière dont les mineurs peuvent interagir avec les chatbots, la mise en place de « garde-fous de crise » et la possibilité pour les utilisateurs de supprimer leurs données. « Cette entreprise a recueilli certaines des pensées les plus privées que des enfants aient jamais partagées, et maintenant ces conversations pourraient être vendues au plus offrant », a déclaré James dans une déclaration. « Je me bats pour m'assurer que tout acheteur place la sécurité des enfants en premier et met en place de véritables protections. »
Mise à jour, 15 octobre : Ajout de la déclaration de Character.AI.
Suivre les sujets et les auteurs de cet article pour en voir davantage de ce type dans votre fil d'actualité personnalisé et pour recevoir des mises à jour par e-mail.