Aujourd'hui, nous annonçons qu'OpenAI honorera un signal(opens in a new window) commun dans robots.txt, le fichier qui permet aux sites web d'exprimer leurs préférences concernant l'utilisation de leur contenu pour l'entraînement de l'IA générative fondamentale. Cet effort volontaire facilite la communication de la même préférence à plusieurs fournisseurs participants à la fois pour les éditeurs et les opérateurs de sites web.
Auparavant, les opérateurs de sites web devaient identifier individuellement les crawlers et maintenir des règles distinctes pour chaque fournisseur. Disposer d'un signal partagé entre plusieurs fournisseurs réduit ce travail pour les opérateurs.
Nous visons à implémenter le signal dans les prochains mois et partagerons une autre mise à jour avec des détails sur notre implémentation au moment venu. Ce nouveau signal ne remplacera pas les contrôles que nous fournissons déjà via robots.txt. Nos contrôles de crawler(opens in a new window)existants, qui offrent aux éditeurs web flexibilité et contrôle sur leurs pages, continueront de s'appliquer et d'être respectés.
Cela s'appuie sur les travaux en cours(opens in a new window) du groupe de travail AI Preferences de l'Internet Engineering Task Force (IETF). Nous rejoignons les autres participants du groupe de travail dans l'annonce d'aujourd'hui de ce signal partagé, et nous pensons que cela renforce notre participation continue aux discussions de normalisation de l'IETF. OpenAI continuera d'adapter ses pratiques à mesure que ces conversations et ce paysage évoluent, en vue de contrôles appropriés et d'équité.
Nous pensons qu'il s'agit d'une étape pratique vers un web ouvert où les gens peuvent publier et découvrir des informations, et où les propriétaires de sites web disposent de moyens plus clairs et plus simples pour communiquer leurs choix quant à l'utilisation de leur contenu. Nous encourageons les autres fournisseurs d'IA à honorer ce signal.