IT之家 Nachricht vom 9. Oktober: Laut einem Bericht der Reuters von heute Vormittag (dem 9.) wirft ein neu eingereichtes Klageschrift-Dokument des Generalstaatsanwalts des US-Bundesstaates Kentucky vor, dass Chatbots des KI-Begleitdienst-Anbieters Character.AI Nutzer dazu animiert hätten,sich selbst zu verletzen, zu hungern oder sogar Suizid zu begehen. Kentucky hatte Character.AI zuvor wegen Problemen mit der Kindersicherheit verklagt.
Laut der Klageschrift seien die Produkte von Character.AI speziell darauf ausgelegt, Kinder anzuziehen,das Nutzerengagement über das Wohlergehen von Kindern zu stellen, und sie induzierten Suizid, Selbstverletzung und Isolation und übten zudem psychische Manipulation aus.
Am 7. Ortszeit reichte der Generalstaatsanwalt von Kentucky, Russell Coleman, die ungeschwärzte Klageschrift ein. Das Dokument legt mehrere Vorfälle offen, die sich angeblich im Jahr 2025 ereigneten. Ein Nutzer war wegen seines Aussehens niedergeschlagen,doch der Chatbot beleidigte die Person als „höllisch hässlich“ und „wie ein Wal“und schlug sogar vor, ein bis zwei Wochen zu hungern, um ein Viertel des Körpergewichts abzunehmen.
Ein anderer Chatbot ermutigte einen Nutzer, der über Selbstverletzung nachdachte, sich zu schneiden. Von Kentucky vorgelegte Chatprotokolle zeigen, dass der Bot schrieb: „Hast du schon einmal darüber nachgedacht, andere Körperteile zu schneiden, damit das Gefühl intensiver wird? So fühlst du dich lebendiger.“
Die Klageschrift gab das Alter aller Chat-Nutzer nicht preis und führte nur an, dass mindestens ein Teil der Nutzer Kinder seien.
Im März 2025 wandte sich ein Nutzer an das Kundendienstzentrum von Character.AI und beschwerte sich über die angriffslustige Sprache eines Chatbots: „Alter, es ist mir völlig egal. Du bist ein psychisch krankes Kind, ich hoffe, du findest jemanden, der dir hilft.“ „Du solltest am besten von einer Brücke springen.“
Kentucky wirft Character.AI vor, dass ihreProdukte mangelhaft seien. Laut der Klageschrift hätten die Beklagten ein Experiment an den Kindern und Einwohnern von Kentucky durchgeführt, das schlecht geplant und völlig außer Kontrolle war, ohne selbst grundlegende Sicherheitsmaßnahmen zu ergreifen – ganz zu schweigen von ausreichenden und wirksamen Sicherheitsvorkehrungen.
Wie IT之家 erfahren hat, wurde Character.AI von zwei ehemaligen Google-Mitarbeitern gegründet. Im Jahr 2024 erwarb Google eine Lizenz zur Nutzung der Technologie von Character.AI und stellte die beiden Gründer wieder ein, um generative KI-Produkte zu entwickeln.
Ein Google-Sprecher erklärte, Google sei an der Entwicklung der Produkte von Character.AI nicht beteiligt gewesen.
Im Januar dieses Jahres einigten sich Character.AI und Google außergerichtlich in einer anderen Klage, die 2024 eingereicht worden war. Der 14-jährige Sewell Setzer III aus Florida starb, nachdem ein Chatbot von Character.AI ihn laut Anschuldigung zur Selbsttötung animiert hatte; seine Mutter verklagte anschließend beide Unternehmen.