OpenAI, Google, Microsoft y Anthropic dicen que adoptarán un nuevo estándar que los editores puedan utilizar para evitar que se les extraiga información por parte de la IA, como se informó anteriormente por Search Engine Roundtable. Con este control, los editores pueden aplicar sus preferencias de entrenamiento de la IA en varias compañías de IA, en lugar de establecerlas individualmente.
El señal de “token de política” compartida fue propuesto por Kevin Kelley, un líder técnico de estándares en Anthropic, como parte del Internet Engineering Task Force (IETF). Se implementará dentro del archivo robots.txt de un sitio web, el cual ha indicado desde hace tiempo qué crawlers pueden y no pueden extraer datos del sitio, ya sea para indexación de búsqueda, archivado o entrenamiento de IA. Actualmente, los sitios deben indicar sus preferencias de entrenamiento de IA por separado a cada empresa de IA.
El anuncio surge mientras los editores luchan con la continua afluencia de crawlers de IA que rastrean sus sitios y introducen su contenido en modelos de IA. Algunas empresas y organizaciones han intentado combatir el rastreo no autorizado, con el estándar Really Simple Licensing (RSL) que permite a los editores cobrar a los crawlers que visitan sus sitios, y Cloudflare que bloquea los crawlers de IA por defecto.
OpenAI, Google, Microsoft, y Anthropic Dicen que restringirán sus crawlers de IA para que no accedan a un sitio si encuentran el token compartido. Sin embargo, Microsoft… ofrecerá controles más detallados Eso permitirá a los editores elegir no participar en el entrenamiento con IA. AI grounding, el proceso de dirigir un modelo de IA hacia una fuente de información verificada para reducir las alucinaciones. Microsoft señala que los sitios web seguirán apareciendo en los resultados de búsqueda de Bing, independientemente de sus preferencias.
Mientras que Anthropic ya ha adoptado el señal, Google y Microsoft planean apoyarlo el próximo año. OpenAI dice que lo implementará en los “meses venideros”.
Siga los temas y autores de esta historia para ver más contenido similar en su feed de página principal personalizada, y para recibir actualizaciones por correo electrónico.