L'organisation à but non lucratif californienne Common Sense Media a récemment publié un rapport indiquant que le mode adolescent de ChatGPT d'OpenAI présente des risques excessifs pour les mineurs. Les tests montrent que, lorsqu'un compte adolescent discute longuement de sujets à haut risque tels que le suicide, l'automutilation ou les troubles alimentaires, le système ne parvient souvent pas à envoyer rapidement une alerte aux parents et ne fournit pas non plus de manière stable d'informations d'aide telles qu'une ligne d'assistance en cas de crise.
Les testeurs ont constaté qu'un compte adolescent devait saisir, sur plusieurs semaines, des centaines de messages autour de divers scénarios avant qu'une notification aux parents puisse être déclenchée ; une seule conversation alarmante ne suffit absolument pas à déclencher une alerte. De plus, le système ne peut pas identifier de manière fiable l'identité d'un mineur : même en déclarant son âge dans la conversation, le mode ne bascule pas automatiquement. L'organisation appelle donc OpenAI à suspendre la promotion de ce produit.
Réponse officielle aux limites des tests, l'institut de recherche maintient son jugement
Face aux critiques, un porte-parole d'OpenAI a répondu que les tests ne reflétaient pas fidèlement le fonctionnement réel du système. Après avoir examiné la méthodologie des tests, l'entreprise a estimé que la plupart d'entre eux avaient probablement été achevés avant le déploiement complet des contrôles parentaux destinés aux adolescents, et a indiqué que le logiciel de prédiction de l'âge devait combiner plusieurs signaux, l'âge déclaré seul ne modifiant pas la classification du compte.
Cependant, les chercheurs ont réfuté cette réponse, soulignant qu'ils avaient confirmé auprès de l'entreprise avant les tests que les fonctionnalités concernées étaient déjà déployées. L'équipe de recherche a fait remarquer que, même en tenant compte des éventuels délais d'activation après la liaison d'un compte, le système n'est toujours pas parvenu à émettre des alertes fiables en situation de crise. Elle maintient donc que la sécurité du mode adolescent de ChatGPT n'est, pour l'heure, pas au niveau requis.