Die kalifornische gemeinnützige Organisation Common Sense Media veröffentlichte kürzlich einen Bericht, in dem sie darauf hinweist, dass der ChatGPT-Jugendmodus von OpenAI für Minderjährige ein zu hohes Risiko darstellt. Die Tests zeigten, dass das System, wenn Jugendkonten über längere Zeit Hochrisikothemen wie Selbstmord, Selbstverletzung oder Essstörungen diskutierten, häufig nicht rechtzeitig Warnungen an die Eltern sendete und auch keine Hilfsinformationen wie Kriseninterventionstelefonnummern zuverlässig bereitstellte.
Die Tester stellten fest, dass ein Jugendkonto über mehrere Wochen hinweg hunderte Eingaben in verschiedenen Situationen machen muss, um möglicherweise eine Elternbenachrichtigung auszulösen; ein einzelnes alarmierendes Gespräch reicht völlig nicht aus, um eine Warnung auszulösen. Zudem kann das System Minderjährige nicht zuverlässig identifizieren – selbst wenn das Alter im Chat angegeben wird, wird nicht automatisch der Modus gewechselt. Daher fordert die Organisation OpenAI auf, die Verbreitung des Produkts auszusetzen.
Offizielle Stellen verweisen auf Grenzen des Tests, Forschungsinstitution bleibt bei ihrem Urteil
Auf die Kritik hin erklärte eine OpenAI-Sprecherin, der Test spiegele die tatsächliche Funktionsweise des Systems nicht korrekt wider. Nach offizieller Prüfung der Testmethode gehe man davon aus, dass die meisten Tests bereits abgeschlossen waren, bevor die jugendspezifischen Elternkontrollfunktionen vollständig eingeführt waren; außerdem benötige die Altervorhersage-Software eine Kombination mehrerer Signale, das alleinige Angabe des Alters ändere die Kontoklassifizierung nicht.
Die Forscher widersprachen dieser Antwort jedoch und betonten, dass vor dem Test bestätigt worden sei, dass alle relevanten Funktionen bereits eingeführt seien. Das Forschungsteam wies darauf hin, dass das System selbst unter Berücksichtigung möglicher Verzögerungen nach der Kontoverknüpfung in Krisensituationen weiterhin keine zuverlässigen Warnungen ausgebe. Daher bleibe man bei der Auffassung, dass die Sicherheit des ChatGPT-Jugendmodus die Anforderungen derzeit nicht erfülle.