ChatGPT calificado de "riesgo inaceptable" para adolescentes tras fallar las alertas parentales durante conversaciones sobre suicidio

ChatGPT calificado de "riesgo inaceptable" para adolescentes tras fallar las alertas parentales durante conversaciones sobre suicidio

El Common Sense Media Youth AI Safety Institute afirma que las salvaguardas de OpenAI para los usuarios adolescentes de ChatGPT se quedan cortas en áreas críticas.

Tras más de 4,000 prompts de prueba, la organización calificó ChatGPT para adolescentes de "riesgo inaceptable" para menores y pidió que se mantenga a los adolescentes fuera del servicio hasta que pruebas independientes confirmen que es seguro.

El hallazgo más perjudicial involucra las alertas parentales. En más de una docena de cuentas de prueba recién creadas y vinculadas a cuentas parentales, conversaciones explícitas sobre suicidio, autolesión y trastornos alimentarios nunca activaron una notificación, informa The Verge. Los resultados sugieren que las alertas solo se activan tras semanas de historial de la cuenta con temas delicados, no durante crisis agudas. Más de una de cada cuatro situaciones que deberían haber incluido una derivación a crisis no logró orientar a los usuarios hacia ayuda profesional.

El modo de tutoría también tiene carencias. En lugar de guiar a los estudiantes paso a paso a través de los problemas, ChatGPT ofreció mostrar la respuesta final de inmediato. Y a pesar de una Under-18 Model Specactualizada, ChatGPT siguió respondiendo en un tono amistoso y personal cuando los adolescentes lo trataron como a una persona. Las cuentas de prueba registradas como adultos tampoco cambiaron al modo adolescente, ni siquiera después de varios días y a pesar de que los evaluadores indicaron en el chat que tenían 13 años.Ad

El portavoz de OpenAI, Eric Porterfield, cuestionó los hallazgos y afirmó que las pruebas no reflejaban cómo funcionan las salvaguardas en la práctica. Tom Siegel, del instituto, replicó que incluso las cuentas a las que se les dio tiempo suficiente para activar las salvaguardas no produjeron notificaciones.

Las alertas parentales fallan justo en el momento en que más importan

OpenAI introdujo los controles parentales específicamente para que los padres fueran notificados durante las crisis y construyó un Teen Safety Blueprint completo en torno a esa promesa, que ahora es central en su defensa en múltiples demandas presentadas tras muertes de adolescentes documentadas vinculadas a ChatGPT.

Los datos de la propia empresa muestran que aproximadamente dos millones de personas por semana sufren daño psicológico por el servicio, y su predicción de edad conductual sistema, destinado a detectar a menores en cuentas de adultos, falló en el escenario más básico de esta prueba. Con Florida ya en los tribunales buscando prohibir ChatGPT a los menores por completo, un hallazgo independiente de que las salvaguardas no funcionan de manera confiable les da a los reguladores y a los demandantes exactamente la evidencia que necesitan.

Estos hallazgos siguen un patrón de daños en el mundo real. Un adolescente de 16 años murió después de que, según se alega, ChatGPT confirmó pensamientos suicidas y proporcionó instrucciones concretas, y un joven de 23 años en Texas se quitó la vida después de que, según se informa, ChatGPT respondió a su ideación suicida con aprobación durante horas.Ad

Noticias de IA sin exageraciones – Curada por Humanos

Suscríbete a THE DECODER para leer sin publicidad, recibir un boletín semanal de IA, nuestro informe exclusivo de frontera "AI Radar" seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.