Heute geben wir bekannt, dass OpenAI ein gemeinsames Signal(opens in a new window) in robots.txt beachten wird, der Datei, mit der Websites ihre Präferenzen hinsichtlich der Nutzung ihrer Inhalte für grundlegende generative KI-Trainings ausdrücken können. Diese freiwillige Initiative erleichtert es Publishern und Website-Betreibern, dieselbe Präferenz gleichzeitig an mehrere teilnehmende Anbieter zu übermitteln.
Bisher mussten Website-Betreiber einzelne Crawler identifizieren und für jeden einzelnen Anbieter separate Regeln pflegen. Ein gemeinsames Signal über mehrere Anbieter hinweg reduziert diesen Aufwand für die Betreiber.
Wir beabsichtigen, das Signal in den kommenden Monaten zu implementieren, und werden dann ein weiteres Update mit Details zu unserer Implementierung teilen. Dieses neue Signal wird die Kontrollen, die wir bereits über robots.txt bereitstellen, nicht ersetzen. Unsere bestehenden Crawler-Kontrollen(opens in a new window), die Web-Publishern Flexibilität und Kontrolle über ihre Seiten bieten, gelten weiterhin und werden weiterhin respektiert.
Dies baut auf der laufenden Arbeit(opens in a new window) der AI Preferences Working Group der Internet Engineering Task Force (IETF) auf. Wir schließen uns heute mit anderen Teilnehmern der Arbeitsgruppe der Bekanntgabe dieses gemeinsamen Signals an und sind der Meinung, dass dies unsere fortgesetzte Teilnahme an den IETF-Standardisierungsdiskussionen stärkt. OpenAI wird seine Praktiken weiterhin anpassen, wenn sich diese Gespräche und die Landschaft im Hinblick auf angemessene Kontrollen und Fairness weiterentwickeln.
Wir sind der Ansicht, dass dies ein praktischer Schritt hin zu einem offenen Web ist, in dem Menschen Informationen veröffentlichen und entdecken können und Website-Inhaber klarere, einfachere Wege haben, ihre Entscheidungen darüber zu kommunizieren, wie ihre Inhalte verwendet werden. Wir ermutern andere KI-Anbieter, das Signal zu beachten.