IT之家 8 de octubre: según informó Bloomberg el día 7, un nuevo informe publicado por la organización sin fines de lucro de California Common Sense Media sostiene que el modo para adolescentes de ChatGPT de OpenAI presenta riesgos demasiado altos para los menores de edad.
Nota de IT之家: los usuarios de 13 a 17 años utilizan por defecto el modo para adolescentes para conversar con ChatGPT.
Las pruebas del Instituto de Seguridad de la IA para Adolescentes de esta organización descubrieron que, cuando las cuentas de adolescentes mostraban comportamientos preocupantes, por ejemplo conversaciones prolongadas con ChatGPT sobresuicidio, autolesiones o trastornos alimentarios, el modo para adolescentessolía tardar en notificar a los padres, y a veces no emitía ninguna notificación. Cuando los usuarios mencionaban estos temas de alto riesgo, el modo para adolescentes tampoco podía recomendar de manera confiable que llamaran a líneas de intervención en crisis o que buscaran ayuda profesional.
Según las pruebas, las cuentas de adolescentes parecían necesitarintroducir cientos de prompts a lo largo de varias semanas en torno a más de una docena de escenariosantes de que un contenido de chat preocupante activara una notificación a los padres;una sola conversación alarmante no era suficiente para activar una notificación。
El informe pide a OpenAI que suspenda la promocióndel producto. Asimismo, que no permita que los adolescentes usen ChatGPT hasta garantizar que puede ofrecer una experiencia de uso segura y acorde a su etapa de desarrollo.
La organización proporcionó a OpenAI los resultados de las pruebas antes de publicar el informe. Un portavoz de OpenAI respondió: «Damos la bienvenida a evaluaciones independientes rigurosas, pero consideramos que las pruebas de Common Sense Mediano reflejan con precisión el funcionamiento real de las medidas de protección para adolescentes de ChatGPT, ni tampoco reflejan con precisión la opinión de los expertos sobre cómo la IA puede apoyar a los adolescentes».
Según el portavoz, tras revisar la metodología de las pruebas, OpenAI considera que la mayoría de las pruebas probablemente comenzaron y terminaron antes de que se lanzaran por completo los controles parentales destinados a los adolescentes. Si esto fuera así, las conclusiones del informe serían inexactas y no se podría determinar si las notificaciones de seguridad a los padres funcionan según lo diseñado.
OpenAI pidió a la organización que repitiera las pruebas. «Tomamos muy en serio la seguridad de los adolescentes y estamos comprometidos a desarrollar medidas de protección y a ofrecer a los padres herramientas verdaderamente útiles que les ayuden a guiar a los adolescentes en el uso de la IA».
Robbie Torney, responsable de evaluación de IA y productos digitales del Instituto de Seguridad de la IA para Adolescentes, manifestó que se mantiene firme respecto a la metodología y los resultados de las pruebas. Según explicó, los investigadores confirmaron a OpenAI antes de las pruebas que las funciones de ChatGPT para adolescentesya estaban lanzadas. Después de las pruebas, OpenAI informó a los investigadores que, tras vincular una cuenta nueva, la función de notificaciones a los padrespodía tardar varias horas en activarse. Algunas cuentas de prueba llevaban menos de unas horas vinculadas, y otras mucho más de varias horas, pero en ningún caso se emitió una notificación a los adultos. «Esta nueva información no cambia nuestra conclusión: en situaciones de crisis, las alertas a los padres no son confiables».
El informe muestra que ChatGPT no puede identificar de manera confiable si un usuario es adolescente. OpenAI había declarado previamente que, cuando ChatGPT identifica que la edad del usuario está entre 13 y 17 años, cambia al modo para adolescentes. La organización descubrió que, tras registrarse como adultos,incluso cuando los probadores le decían a ChatGPT en el chat que solo tenían 13 años, la cuenta no cambiaba automáticamente al modo para adolescentes。
OpenAI explicó que el software de predicción de edad combina múltiples señales a lo largo de un tiempo para garantizar que adultos y menores usen las versiones adecuadas a su edad. La edad que el usuario declara en el chat es solo una de esas señales, y la edad autodeclarada por sí sola no cambia la clasificación de edad de la cuenta.
Common Sense Media indicó en el informe que los investigadores probaron ChatGPT tanto antes como después del lanzamiento del modo para adolescentes, usando cuentas registradas con edades de 13 a 17 años, introdujeron más de 4000 prompts y entregaron las respuestas de ChatGPT a psiquiatras infantiles y a un pediatra para su evaluación.
La organización calificó el modo adolescente de ChatGPT como de "riesgo inaceptable" y pidió a OpenAI que mejore su método de estimación de edad, así como el mecanismo que decide cuándo enviar alertas a los padres.
Lectura relacionada: