Gemeinschaftssicherheitsbericht und neue Schutzmaßnahmen für Jugendliche

ChatGPT ist eines der weltweit am häufigsten genutzten KI-Produkte, und wir haben in den Aufbau einiger der fortschrittlichsten Systeme der Branche zur Erkennung möglicher Schäden, zur Überprüfung besorgniserregender Aktivitäten und zur Eskalation glaubwürdiger Bedrohungen investiert. Wir geben zwei Ankündigungen bekannt, um unsere Arbeit in diesem Bereich voranzutreiben: einen neuen Community Safeguards Report und weitere Einschränkungen bei Inhalten zu Schusswaffen für Minderjährige.

Gemeinschaften sicher zu halten⁠ hat weiterhin höchste Priorität für OpenAI. Unsere Arbeit umfasst die Meldung unmittelbarer Gewaltdrohungen an Strafverfolgungsbehörden, und wir haben im Q3 2026 über 200 Meldungen an Strafverfolgungsbehörden weitergeleitet. Diese Meldungen tragen positiv⁠(opens in a new window) dazu bei⁠(opens in a new window) gewalttätige Pläne zu vereiteln, und wir verlassen uns weiterhin auf Experten für psychische Gesundheit und Verhaltensweisen, die uns bei der Beurteilung schwieriger Fälle helfen.

Wir wissen, dass KI-Unternehmen eine besondere Rolle spielen, alongside Strafverfolgungsbehörden, Familienangehörigen, Fachleuten für psychische Gesundheit und politischen Entscheidungsträgern, die wichtige Befugnisse, Kontext und reale Reichweite mitbringen. Wir sind bestrebt, diese Rolle bestmöglich auszufüllen, indem wir unsere Systeme kontinuierlich stärken, unsere Erkenntnisse teilen und direkt mit denen zusammenarbeiten, die am besten positioniert sind, in der realen Welt zu handeln.

OpenAIs Community Safety Report

Wir stärken ständig die Maßnahmen, die wir zum Schutz von Menschen und Gemeinschaften ergreifen. Das bedeutet, robuste Schutzmechanismen aufzubauen, aber auch transparent darüber zu sein, wie gut sie funktionieren und was wir zu ihrer Verbesserung tun. Wir möchten den Menschen ein klares Bild unseres Ansatzes vermitteln, wie unsere Modelle schädliches Verhalten erkennen und darauf reagieren, welche Risiken wir in der Praxis sehen und welche Schritte wir zu deren Behebung unternehmen.

Wir verpflichten uns, den Community Safety Report über Gewaltprävention und andere Fragen der Gemeinschaftssicherheit sowie über die Wirksamkeit unserer Schutzmaßnahmen zu veröffentlichen. Der Bericht wird erläutern, wie wir unsere Systeme darauf trainieren, Probleme der Gemeinschaftssicherheit zu erkennen, zu untersuchen und darauf zu reagieren. Wir werden anonymisierte Beispiele dafür teilen, wie gewaltbezogene Schäden auftreten und was wir daraus lernen, neue Abhilfemaßnahmen und politische Änderungen hervorheben sowie relevante Daten zur Untermauerung dieser Erkenntnisse aufnehmen.

Wir werden unseren ersten Bericht Anfang 2027 veröffentlichen, der die zweite Hälfte von 2026 abdeckt, mit anschließenden Aktualisierungen alle sechs Monate. Unser Bekenntnis ist es, aussagekräftige Erkenntnisse darüber zu teilen, wie wir potenziell schädliche Inhalte identifizieren, überprüfen und darauf reagieren.

Strenge politische Grenzen für alle Nutzer

Unsere Modelle sind darauf trainiert, keine Anweisungen zu geben, die jemandem bei der Planung oder Ausführung von Gewalt helfen könnten. Wir legen nun zusätzliche Einschränkungen fest, wie ChatGPT auf Fragen zu vergangenen Massenangriffen und den Personen, die sie verübt haben, reagiert, und weisen das Modell an, in diesen Bereichen weniger detaillierte Informationen bereitzustellen, selbst wenn diese aus anderen Online-Quellen verfügbar sind. Menschen sollten ChatGPT darum bitten können, ihnen zu helfen, diese Ereignisse zu verstehen, wie Opfer und Gemeinschaften betroffen waren, und zu lernen, Warnzeichen zu erkennen und künftige Gewalt zu verhindern. Aber wir verschärfen unsere Richtlinien, um Rekonstruktionen vergangener Massenangriffe einzuschränken, einschließlich Details zu den verwendeten Waffen und Ausrüstungsgegenständen und deren Beschaffung sowie detaillierte Vergleiche zum Ausmaß des Schadens, die die Berühmtheit eines Angreifers verstärken könnten. Diese Grenzen gelten unabhängig vom Alter eines Nutzers oder dem Grund seiner Anfrage.

Reaktion auf Warnzeichen

Manchmal erhält eine für sich genommen gewöhnliche Anfrage im Licht einer früheren Unterhaltung eine andere Bedeutung. Im Mai haben wir geteilt, wie ChatGPT kurze, sachliche Zusammenfassungen früherer Warnzeichen verwenden kann,⁠ um in einem späteren Chat umsichtiger zu reagieren. Wir bauen auf dieser Arbeit auf, sodass ChatGPT, wenn aktuelle Chats Warnzeichen möglicher Gewalt zeigen, bei der Weitergabe von Informationen, die missbraucht werden könnten, vorsichtiger reagieren wird. Wir arbeiten außerdem daran, diese strengeren Grenzen anzuwenden, wenn wir vorhersagen, dass jemand unter 18 Jahre alt ist, selbst wenn seine Chats keine Anzeichen gewalttätiger Absichten zeigen.

Wir sperren Konten, bei denen wir feststellen, dass sie unsere Richtlinien zu gewalttätigen Aktivitäten⁠verletzt haben. Wir arbeiten auch mit Experten für psychische Gesundheit und Gewaltprävention an zusätzlichen, automatisierten Möglichkeiten, früher einzugreifen. Wenn eine Unterhaltung Anzeichen dafür zeigt, dass eine Person sich auf Gewalt oder die Vorstellung festlegt, eine andere Person ernsthaft zu schädigen, kann ChatGPT den Chat automatisch beenden, um dieses Muster im Moment zu unterbrechen. Wenn ChatGPT mehrere Chats aus diesem Grund beendet, können wir das Konto vorübergehend pausieren. Dies ist ein laufendes Unterfangen, und wir stärken und investieren weiterhin in technische und praktische Schutzmaßnahmen, einschließlich der Frage, wie sich Warnzeichen zuverlässig erkennen und wann und wie eingegriffen werden kann.

Mehr Schutz für Jugendliche

ChatGPT für Jugendliche⁠ wendet altersgerechte Schutzmaßnahmen für Nutzer unter 18 Jahren an, mit stärkeren Schutzvorkehrungen und zusätzlichen Grenzen, um die Exposition gegenüber sensiblen Inhalten zu verringern. Wir legen nun weitere Grenzen für waffenbezogene Informationen fest, die Jugendliche erhalten können, selbst wenn eine Frage harmlos erscheint. 

Unsere Richtlinien verbieten bereits, jemandem bei der Planung oder Ausführung von Gewalt zu helfen, und schränken die Hilfe für Jugendliche beim Auffinden oder Beschaffen von Waffen ein. Wir weiten diese Schutzmaßnahmen aus, um praktische Informationen über Waffen und Sicherheitssysteme einzuschränken, die missbraucht werden könnten, um Gewalt zu erleichtern, selbst wenn es keine Anzeichen einer gewalttätigen Absicht gibt. Jugendliche können ChatGPT weiterhin nutzen, um Gewalt zu verhindern und zu deeskalieren, Unterstützung zu suchen und mit einer vertrauenswürdigen erwachsenen Person in Kontakt zu treten.

Wir haben Altersvorhersage⁠ im letzten Jahr eingeführt, die mehrere Signale wie Verhaltensmuster analysiert, um einzuschätzen, ob ein Nutzer möglicherweise unter oder über 18 Jahre alt ist. Wir haben unser Altersvorhersagesystem gestärkt, um kontinuierlich neue Signale auszuwerten, während Menschen ChatGPT nutzen, und Jugendliche gegebenenfalls in die Unter-18-Erfahrung zu überführen. Nutzern, die fälschlicherweise in der Unter-18-Erfahrung platziert wurden, steht stets ein schneller, die Privatsphäre schützender Weg zur Verfügung, um über Persona, unseren Partner für Altersverifizierung, zu bestätigen, dass sie volljährig sind, und zusätzliche Jugendschutzmaßnahmen entfernen zu lassen. 

Unsere Elternkontrollen⁠ ermöglichen es Eltern, ihre ChatGPT-Konten mit denen ihrer Jugendlichen zu verknüpfen und Sicherheitseinstellungen gemeinsam zu verwalten. Verknüpfte Konten umfassen Sicherheitswarnungen⁠ die gesendet werden können, wenn speziell geschulte Prüfer ein ernstes Anliegen bezüglich Selbstverletzung sowie Verhaltensweisen identifizieren, die mit gestörtem Essverhalten in Verbindung gebracht werden können. Im Juli haben wir diese Warnungen erweitert, sodass Eltern benachrichtigt werden, wenn das Konto ihres Jugendlichen wegen Verstoßes gegen unsere Nutzungsrichtlinien zu Gewalt deaktiviert wurde. Wir arbeiten daran, Benachrichtigungen für Eltern einzuführen, wenn wir das Konto ihres Jugendlichen aufgrund wiederholter Gespräche über Gewalt vorübergehend pausieren, wie oben beschrieben.

Ausblick

Akten realer Gewalt liegen niederschlagend und komplex, mit vielen beitragenden Faktoren. Sie sind auch eine eindringliche Erinnerung daran, dass wir unsere Systeme weiterentwickeln und iterativ verbessern müssen, um den inherently komplizierten Realitäten menschlichen Verhaltens gerecht zu werden. Die Entwicklung wirksamer Gewaltschutzmaßnahmen in KI-Systemen erfordert die Lösung neuartiger Probleme bei der Erkennung von Risiken und angemessenen Reaktionen, und wir werden weiter investieren, iterieren und Erkenntnisse darüber teilen, wie sich die von uns verfolgten Schutzmaßnahmen am besten umsetzen lassen. Die hier beschriebenen Schutzmaßnahmen werden in den nächsten Wochen eingeführt, und wir werden sie weiter verfeinern. Wir bleiben der Eindämmung von Schadensrisiken in ChatGPT verpflichtet, stärken unsere mehrstufigen Schutzmaßnahmen, überwachen auf Missbrauch, setzen unsere Regeln durch und ziehen reale Unterstützung und Interventionen hinzu, wenn die Situation dies erfordert.