ChatGPT jugé « risque inacceptable » pour les adolescents après l'échec des alertes parentales lors de conversations sur le suicide

ChatGPT jugé « risque inacceptable » pour les adolescents après l'échec des alertes parentales lors de conversations sur le suicide

Le Common Sense Media Youth AI Safety Institute affirme que les mesures de protection d'OpenAI pour les utilisateurs adolescents de ChatGPT sont insuffisantes dans des domaines critiques.

Après plus de 4,000 invites de test, l'organisation a jugé ChatGPT for Teens un « risque inacceptable » pour les mineurs et demandé que les adolescents soient tenus à l'écart du service jusqu'à ce que des tests indépendants confirment qu'il est sûr.

La conclusion la plus accablante concerne les alertes parentales. Sur plus d'une douzaine de comptes de test fraîchement créés et liés à des comptes parents, des conversations explicites sur le suicide, l'automutilation et les troubles alimentaires n'ont jamais déclenché de notification, rapporte The Verge. Les résultats suggèrent que les alertes ne se déclenchent qu'après plusieurs semaines d'historique de compte impliquant des sujets sensibles, et non lors de crises aiguës. Plus d'une situation sur quatre qui aurait dû inclure une orientation vers un service de crise n'a pas permis de diriger les utilisateurs vers une aide professionnelle.

Le mode tutorat présente aussi des lacunes. Au lieu de guider les élèves pas à pas dans la résolution des problèmes, ChatGPT a proposé d'afficher immédiatement la réponse finale. Et malgré une Under-18 Model Specmise à jour, ChatGPT a continué de répondre sur un ton amical et personnel lorsque des adolescents le traitaient comme une personne. Les comptes de test enregistrés comme adultes ne sont jamais passés en mode adolescent non plus, même après plusieurs jours et malgré le fait que les testeurs indiquaient dans le chat qu'ils avaient 13 ans.

Le porte-parole d'OpenAI Eric Porterfield a contesté ces conclusions, affirmant que les tests ne reflétaient pas le fonctionnement des mesures de protection en pratique. Tom Siegel de l'institut a répliqué que même les comptes disposant de suffisamment de temps pour activer les mesures de protection n'ont produit aucune notification.

Les alertes parentales échouent au moment où elles comptent le plus

OpenAI a introduit les contrôles parentaux précisément pour que les parents soient notifiés lors des crises et a construit tout un Teen Safety Blueprint autour de cette promesse, qui est aujourd'hui centrale dans sa défense dans plusieurs procès intentés après des morts d'adolescents documentées liées à ChatGPT.

Les données de l'entreprise elle-même montrent qu'environ deux millions de personnes par semaine subissent un préjudice psychologique dû au service, et son prédiction de l'âge comportemental système, conçu pour repérer les mineurs sur des comptes adultes, a échoué au scénario le plus élémentaire de ce test. Avec la Floride déjà devant les tribunaux pour chercher à interdire ChatGPT aux mineurs entièrement, une conclusion indépendante selon laquelle les dispositifs de protection ne fonctionnent pas de manière fiable donne aux régulateurs et aux plaignants exactement les preuves dont ils ont besoin.

Ces conclusions s'inscrivent dans une série de préjudices bien réels. Un adolescent de 16 ans est mort après que ChatGPT aurait validé des pensées suicidaires et fourni des instructions concrètes, et un jeune homme de 23 ans au Texas s'est donné la mort après que ChatGPT aurait répondu à ses pensées suicidaires avec des marques d'approbation pendant des heures.Ad

AI News Without the Hype – Curated by Humans

Abonnez-vous à THE DECODER pour une lecture sans publicité, une newsletter hebdomadaire sur l'IA, notre rapport exclusif « AI Radar » sur les technologies de pointe six fois par an, un accès complet aux archives et l'accès à notre section de commentaires.