Aujourd'hui, nous annonçons qu'OpenAI honorera un signal(opens in a new window) commun dans robots.txt, le fichier qui permet aux sites web d'exprimer leurs préférences concernant l'utilisation de leur contenu pour l'entraînement des IA génératives fondamentales. Cet effort volontaire facilite la communication de la même préférence par les éditeurs et les opérateurs de sites web à plusieurs fournisseurs participants à la fois.
Auparavant, les opérateurs de sites web devaient identifier individuellement les robots d'exploration et maintenir des règles séparées pour chaque fournisseur. Disposer d'un signal partagé entre plusieurs fournisseurs réduit ce travail pour les opérateurs.
Nous avons l'intention de mettre en œuvre ce signal dans les mois à venir, et nous partagerons une autre mise à jour avec des détails sur notre implémentation le moment venu. Ce nouveau signal ne remplacera pas les contrôles que nous offrons déjà via robots.txt. Nos contrôles de robots d'exploration(opens in a new window)existants, qui offrent aux éditeurs web flexibilité et contrôle sur leurs pages, continueront de s'appliquer et d'être respectés.
Cela s'appuie sur les travaux en cours(opens in a new window) du groupe de travail AI Preferences de l'Internet Engineering Task Force (IETF). Nous nous joignons aux autres participants du groupe de travail pour l'annonce d'aujourd'hui de ce signal partagé, et nous pensons que cela renforce notre participation continue aux discussions de normalisation de l'IETF. OpenAI continuera d'adapter ses pratiques à mesure que ces conversations et le paysage évoluent, en tenant compte de contrôles appropriés et d'équité.
Nous pensons qu'il s'agit d'une étape pratique vers un web ouvert où chacun peut publier et découvrir des informations, et où les propriétaires de sites web disposent de moyens plus clairs et plus simples pour communiquer leurs choix concernant l'utilisation de leur contenu. Nous encourageons les autres fournisseurs d'IA à honorer ce signal.