OpenAI comenzará a agregar un marcador de posición invisible al texto generado por ChatGPT y Codex en la Unión Europea para cumplir con la Ley de IA de la UE, indicó la compañía el lunes en un artículo de blog.
Las normas de transparencia de la Ley AI de la UE, que entraron en vigor el 2 de agosto, exigen que las empresas de IA marquen el contenido generado por IA de manera que otros sistemas puedan identificarlo.
OpenAI indicó que el marcador de agua se implementará en las próximas semanas para los usuarios de ChatGPT y Codex que cumplan con los requisitos, en todas las opciones, pero únicamente en la UE. Los desarrolladores que utilizan la API de OpenAI en cualquier parte del mundo pueden activarlo para algunos modelos a partir de hoy; está desactivado por defecto. OpenAI afirmó que no hará que el marcado de texto sea una opción global desde el lanzamiento.
La marca de agua no es un símbolo real, sino que funciona al moldear sutilmente las elecciones de palabras del modelo, dejando un patrón que los lectores no pueden ver, pero que un detector puede detectar. Dado que está presente en las propias palabras, viaja con el texto cuando se copia y pega. OpenAI indicó que la marca de agua no identifica al usuario, y que no observó ningún cambio significativo en el rendimiento de sus modelos cuando está activada.
OpenAI también publicó un informe técnico sobre su método, llamado textGrain, junto con el anuncio. Escrito en colaboración con investigadores de la Universidad de Pensilvania y Yale, describe un ejemplo de cómo usar una clave secreta para ordenar las predicciones de las palabras siguientes para completar la oración. Si se suman cientos de estos detalles, el detector puede detectar contenido generado por IA utilizando únicamente el texto y la clave.
¿Se puede eliminar el agua de mar por edición? Las pruebas de OpenAI sugieren que sí. En una prueba, al reemplazar el 10% de las palabras por sinónimos, la detección disminuyó de aproximadamente el 92% a el 66%. La empresa también indicó que los pasajes cortos, las respuestas matemáticas y el texto traducido son más difíciles de detectar.
“Estas limitaciones contribuyen a nuestra decisión de proporcionar acceso inicial al detector únicamente a investigadores aprobados y organizaciones especializadas, quienes pueden ayudarnos a evaluar su fiabilidad y el uso responsable”, dijo la empresa.
OpenAI también advirtió que una marca de agua ausente “no prueba la autoría humana”. El texto podría ser demasiado corto o estar muy editado, o podría provenir de la IA de otra empresa.
“[Sellos de autoría] pueden indicar que un sistema OpenAI generó o procesó parte de un pasaje, pero no cuánto juicio humano, edición o creatividad se incluyó en él”, dijo la compañía.
El anuncio llega dos meses después de Anthropic dijo que pondría marcas en el texto generado por Claude, una medida que está aplicando en todo el mundo. Esa decisión provocó reacciones negativas por parte de algunos usuarios de Claude, quienes argumentaron que ellos habían proporcionado “las instrucciones, el contexto y las decisiones”, mientras que Claude era simplemente “la herramienta”.
OpenAI había creado un marcador de texto antes, pero se abstuvo de su lanzamiento, en parte por preocupaciones de que los usuarios pasaran a usar herramientas rivales que no tenían marcadores de texto, según informó The Wall Street Journal en 2024.
Anthropic, Google, Meta, Microsoft y OpenAI son algunas de las empresas que se han comprometido a seguir el código de práctica de la UE sobre el contenido generado por IA.