IT之家 Bericht vom 1. November: OpenAI, Google, Microsoft und Anthropic haben kürzlich angekündigt, ein neues Standard zu verwenden. Durch dieses Standard können Inhalte bereitstellende Unternehmen entscheiden, ob sie die Nutzung von AI-Scraping auf ihren Websites verweigern. Mit diesem Kontrollmechanismus können Inhalte bereitstellende Unternehmen ihre Präferenzen für die Verwendung von Inhalten im Zusammenhang mit AI-Modellen an mehrere AI-Unternehmen gleichzeitig kommunizieren, ohne für jede einzelne Unternehmung eigene Regeln zu erstellen.
Dieses Standard wurde von Kevin Kelley, dem technischen Leiter von Anthropic, an das Internet Engineering Task Force (IETF) vorgeschlagen und wird in dem robots.txt-File des Webseits integriert.
Seit langem werden die robots.txt-Dateien verwendet, um Webcrawlers anzuzeigen, welche Inhalte einer Website gesaugt werden dürfen und welche nicht, insbesondere im Zusammenhang mit Suchindexen, Webseitenarchiven und dem Training von KI-Modellen. Heutzutage müssen Websites jeweils individuell gegenüber jedem KI-Unternehmen erklären, wie sie die Nutzung von Inhalten zum Training von KI-Modellen bevorzugen. In diesem Kontext verschiedene Arten von KI-Crawlers sammeln kontinuierlich Inhalte der Website und geben diese Daten in KI-Modelle für das Training ein, was die Verantwortlichen bei der Inhaltsveröffentlichung sehr beschäftigt macht.
IT Home hat bemerkt, dass derzeit die Webseiten jede Unternehmung einzeln über ihre Trainingsvorlieben informieren müssen. Das neue Standard zielt darauf ab, diesen Prozess zu vereinfachen. Anthropic hat bereits zugestimmt, OpenAI plant dies in den nächsten Monaten umzusetzen, und Google sowie Microsoft werden voraussichtlich im nächsten Jahr unterstützen. Der Meta-Sprecher Andy Stone äußerte ebenfalls seine Unterstützung für die Etablierung einer solchen allgemeinen Signatur, aber keine konkreten Umsetzungspläne nannte.