IT之家 Le 8 octobre, selon une information rapportée le 7 par Bloomberg, un nouveau rapport publié par Common Sense Media, une organisation à but non lucratif californienne, estime que le mode adolescent de ChatGPT d'OpenAI présente des risques trop élevés pour les mineurs.
Note de IT之家 : les utilisateurs de 13 à 17 ans utilisent par défaut le mode adolescent pour dialoguer avec ChatGPT.
Les tests menés par l'Institut de sécurité de l'IA pour les adolescents de cette organisation ont révélé que, lorsque les comptes d'adolescents présentaient des comportements préoccupants, par exemple des discussions prolongées avec ChatGPTsuicide, automutilation ou troubles alimentaires, le mode adolescentpréviennent souvent les parents avec un retard considérable, et parfois n'envoient aucune notification. Lorsque les utilisateurs abordent ces sujets à haut risque, le mode adolescent n'est pas non plus en mesure de leur recommander de manière fiable d'appeler une ligne d'intervention en cas de crise ou de consulter un professionnel.
D'après les tests, il semble qu'un compte adolescent doivesaisir des centaines de prompts sur plus d'une dizaine de scénarios pendant plusieurs semainesavant qu'un contenu de conversation préoccupant ne déclenche une notification parentale ;une seule conversation alarmante ne suffit pas à déclencher une notification。
Le rapport appelle OpenAI à suspendre la promotionde ce produit. Par ailleurs, tant qu'il n'est pas garanti de pouvoir offrir une expérience sûre et adaptée au stade de développement des adolescents, il ne faut pas permettre aux adolescents d'utiliser ChatGPT.
L'organisation a communiqué les résultats des tests à OpenAI avant la publication du rapport. Un porte-parole d'OpenAI a répondu : « Nous accueillons favorablement les évaluations indépendantes rigoureuses, mais nous estimons que les tests de Common Sense Mediane reflètent pas fidèlement le fonctionnement réel des mesures de protection des adolescents de ChatGPTni l'avis des experts sur la manière dont l'IA peut apporter un soutien aux adolescents. »
Selon le porte-parole, après avoir examiné la méthodologie de test, OpenAI a conclu que la plupart des tests avaient probablement commencé et pris fin avant le déploiement complet des contrôles parentaux destinés aux adolescents. Si tel est le cas, les conclusions du rapport ne sont pas exactes, et il est impossible de déterminer si les notifications de sécurité parentales fonctionnent comme prévu.
OpenAI a demandé à l'organisation de refaire les tests. « Nous accordons la plus grande importance à la sécurité des adolescents, nous nous engageons à développer des mesures de protection et à fournir aux parents des outils concrètement utiles pour les aider à accompagner les adolescents dans l'utilisation de l'IA. »
Robbie Torney, responsable de l'évaluation des produits d'IA et numériques à l'Institut de sécurité de l'IA pour les adolescents, a affirmé maintenir la méthodologie et les résultats des tests. Selon lui, les chercheurs avaient confirmé auprès d'OpenAI avant les tests que les fonctionnalités de ChatGPT destinées aux adolescentsavaient toutes été déployées. Après les tests, OpenAI a indiqué aux chercheurs que, lorsqu'un nouveau compte est associé, la fonctionnalité de notification parentalepeut nécessiter plusieurs heures avant d'être activée. Certains comptes de test étaient associés depuis moins de quelques heures, d'autres depuis bien plus, mais aucun n'avait envoyé de notification à un adulte. « Ces nouvelles informations ne changent pas nos conclusions : en situation de crise, les alertes aux parents ne sont pas fiables. »
Le rapport montre que ChatGPT n'est pas en mesure d'identifier de manière fiable si un utilisateur est un adolescent. OpenAI avait précédemment déclaré que, lorsqu'il identifiait un utilisateur âgé de 13 à 17 ans, ChatGPT basculait en mode adolescent. L'organisation a constaté que lorsque les testeurs s'étaient enregistrés en se déclarant adultes,même en indiquant à ChatGPT dans la conversation qu'ils n'avaient que 13 ans, le compte ne basculait pas automatiquement en mode adolescent。
. OpenAI explique que le logiciel de prédiction d'âge combine plusieurs signaux sur une période donnée afin de garantir que les adultes et les mineurs utilisent des versions adaptées à leur âge. L'âge déclaré par l'utilisateur dans la conversation n'est qu'un signal parmi d'autres, et la seule déclaration de l'âge ne modifie pas la classification d'âge du compte.
Selon Common Sense Media dans son rapport, les chercheurs ont testé ChatGPT avant et après le lancement du mode adolescent, en utilisant des comptes enregistrés avec un âge de 13 à 17 ans, en saisissant plus de 4000 prompts, et en soumettant les réponses de ChatGPT à l'évaluation de pédopsychiatres et d'un pédiatre.
L'organisation a jugé le mode adolescent de ChatGPT comme présentant un « risque inacceptable » et a demandé à OpenAI d'améliorer sa méthode d'estimation de l'âge, ainsi que le mécanisme déterminant quand envoyer des alertes aux parents.
À lire également :