OpenAI, Google, Microsoft et Anthropic déclarent qu’ils adopteront un nouveau standard que les éditeurs pourront utiliser pour se soustraire à l’extraction par les IA, comme rapporté précédemment par Table ronde sur les moteurs de recherche. Avec ce contrôle, les éditeurs peuvent appliquer leurs préférences d’entraînement de l’IA auprès de plusieurs entreprises de l’IA, plutôt que de les définir individuellement.
Le signal de “token de politique” partagé est proposé par Kevin Kelley, chef technique des normes chez Anthropic, dans le cadre de l’Internet Engineering Task Force (IETF). Il sera inclus dans le fichier robots.txt d’un site web, qui indique depuis longtemps quels crawlers peuvent et ne peuvent pas extraire des données du site — que ce soit pour l’indexation de recherche, l’archivage ou l’entraînement d’IA. Actuellement, les sites doivent indiquer leurs préférences d’entraînement d’IA séparément à chaque entreprise d’IA.
L’annonce survient au moment où les éditeurs sont confrontés à l’afflux continu de crawlers d’IA qui scrapent leurs sites et transmettent leur contenu aux modèles d’IA. Certaines entreprises et organisations ont tenté de lutter contre le scraping non autorisé, avec la norme Really Simple Licensing (RSL) qui permet aux éditeurs de facturer aux crawlers qui visitent leurs sites, ainsi que Cloudflare qui bloque les crawlers d’IA par défaut.
OpenAI, Google, Microsoft, et Anthropic Dire qu’ils restreindront les crawlers de leur IA pour ne pas accéder à un site si ils rencontrent le token partagé. Microsoft, cependant. Il offrira des contrôles plus détaillés Cela permettra aux éditeurs de choisir de ne pas participer à la formation par l’IA ou Base de données IA, le processus d’orienter un modèle d’IA vers une source d’information vérifiée afin de réduire les hallucinations. Microsoft note que les sites web apparaîtront toujours dans les résultats de recherche de Bing, indépendamment de leurs préférences.
Alors que Anthropic a déjà adopté ce signal, Google et Microsoft prévoient de le soutenir l’année suivante. OpenAI indique qu’elle le mettra en œuvre dans les « prochains mois ».
Suivez les sujets et les auteurs de cette histoire pour voir plus d’articles similaires dans votre flux de page d’accueil personnalisée, et pour recevoir des mises à jour par e-mail.