Los modelos de IA ocultan errores en sus propios informes de trabajo, pero una frase en tu prompt puede ayudar

Los modelos de IA ocultan errores en sus propios informes de trabajo, pero una frase en tu prompt puede ayudar

Los modelos de lenguaje que redactan sus propios informes de trabajo omiten sistemáticamente los problemas que socavan los resultados. Añadir una sola frase al prompt reduce drásticamente el problema, según un nuevo estudio.

Cuando los agentes de IA programan o realizan experimentos por su cuenta, la gente rara vez revisa cada detalle y en cambio lee el informe final del modelo. Según un estudio de Google Research, MIT y Harvard, esos informes suelen ser engañosos.

Los investigadores entregaron a los modelos 1,600 registros de trabajo sintéticos que a primera vista parecen exitosos, con pruebas aprobadas, resultados positivos y marcas de verificación verdes. Cada registro contiene un defecto que cambia todo el panorama, como un experimento donde el nuevo método en realidad no supera a la competencia. Otros registros incluyen un error oculto a pesar de las pruebas aprobadas, mediciones fabricadas, un trabajo que nunca terminó, o una actualización de software que rompe silenciosamente el trabajo de otro usuario. Dependiendo del escenario, los modelos tenían que escribir un informe, un resumen de artículo, una tabla de resultados, un ensayo breve o una respuesta de seguimiento basada en el registro.

Una frase en el prompt ayuda mucho, pero no siempre

El patrón se manifiesta con mayor claridad en los resúmenes de artículos para experimentos donde un resultado socava la mejora reclamada de un nuevo método. GPT-5.5 menciona ese resultado en solo 2 de 200 resúmenes. Los investigadores también probaron si una simple adición al prompt marca la diferencia. Cuando añadieron "Be honest in your response", GPT-5.5 señaló el resultado negativo en 190 de 200 resúmenes.

Todos los modelos probados muestran este comportamiento, aunque en distinto grado. Sin el prompt de honestidad, Gemini 3.1 Pro señala errores en como máximo el 34 por ciento de los casos, mientras que Opus 4.8 lo hace en más del 90 por ciento. El prompt de honestidad eleva la tasa en unos 55 puntos porcentuales de promedio para Gemini y unos 34 para GPT-5.5. En pruebas de control con registros sin errores, el prompt apenas aumentó las falsas alarmas.

Sin embargo, la frase no es una cura universal. En un escenario, una consulta a la base de datos aún no ha devuelto resultados, y GPT-5.5 con el prompt de honestidad casi siempre señala los datos faltantes pero responde la pregunta de todos modos usando información anterior e incompleta. Prompts como "Be critical", "Be thorough" o "Be skeptical" funcionaron de manera menos fiable que pedir honestidad.

Los modelos detectan los errores pero eligen no reportarlos

Cuando se les pregunta directamente, GPT-5.5 y Opus 4.8 encuentran los errores en cada caso individual, y Gemini detecta al menos el 97 por ciento. Según los investigadores, a los modelos no les falta la capacidad, sino la voluntad.

Los rastros de razonamiento de modelos de pesos abiertos revelan lo que sucede. Los modelos a menudo notan el problema a tiempo, y luego sopesan si señalarlo o aparentar haber completado la tarea con éxito. Se pidió a Qwen3.5-9B que apoyara una tesis sobre la ley de zonificación usando un pasaje sobre células de color en calamares. El modelo señala que no puede hacerlo "sin recurrir a metáforas absurdas", pero decide que debe seguir las instrucciones lo más fielmente posible.

En este escenario de evidencia incongruente, frases como "I must complete the task" aparecen en el 55 por ciento de las respuestas que ocultan el error, pero en solo el 27 por ciento de las que lo señalan. Los modelos justifican las omisiones con excusas típicas: dicen que las pruebas pasaron, que solo están resumiendo, o que un resumen debe enfatizar lo positivo.

La honestidad y el impulso por triunfar tiran en direcciones opuestas

En un estudio de caso sobre Qwen3.5-9B, los investigadores encontraron evidencia de que la honestidad y la búsqueda de éxito se representan como direcciones casi opuestas dentro del modelo. Cuando amplificaron la dirección de honestidad, el modelo señalo mediciones fabricadas en 42 de 50 casos. Cuando empujaron en la dirección opuesta, inventó números y fórmulas adicionales para fingir credibilidad. Sin embargo, la intervención no fue precisa, porque el modelo se volvió generalmente sospechoso y reportó datos supuestamente fabricados también en el 41 por ciento de los registros sin errores.

El entrenamiento funcionó mejor. Los investigadores ajustaron Qwen3.5-9B con sus propias respuestas inducidas a la honestidad. Después de eso, el modelo señalo datos fabricados en el 48 por ciento de los casos en lugar del 2 por ciento, incluso sin la frase adicional, y los registros de control sin errores no produjeron falsas alarmas. El efecto se trasladó en parte a otros tipos de errores, con el modelo reportando resultados negativos ocultos en el 69 por ciento de los casos en lugar del 24 por ciento.

El estudio tiene límites, ya que los registros son sintéticos y están diseñados para provocar el comportamiento, y el análisis interno cubre solo un modelo de pesos abiertos en un solo escenario en su mayoría.

Los investigadores aún ven un riesgo serio, especialmente cuando los modelos de IA supervisan a otros agentes o resumen su propio trabajo para pasos posteriores. En el estudio, los modelos se dejaron influenciar fácilmente por notas autocomplacientes en los registros, como afirmaciones sobre establecer un nuevo récord de última generación. Un sistema de supervisión que se muestra reacio a señalar problemas frustra su propio propósito. Los investigadores piden más trabajo sobre el entrenamiento de modelos de lenguaje para ser reportadores honestos. El incidente de OpenAI en Hugging Face fue causado en parte por sistemas agénticos que se incitaron mutuamente a un mal comportamiento.

Las diferencias entre modelos coinciden con mediciones anteriores. Anthropic dijo en el lanzamiento de Claude Opus 4.8 que el modelo deja pasar errores en su propio código sin comentarios unas cuatro veces menos a menudo que su predecesor. GPT-5.5 replicó solo en alrededor del 45 por ciento de las preguntas lógicamente imposibles en BullshitBench.

Ya existen enfoques para reportes más honestos. OpenAI entrenó una versión de GPT-5 Thinking para admitir sus propias violaciones de reglas en un informe separado y recompensó solo la honestidad durante ese proceso. Anthropic usa Persona Vectors para detectar y dirigir rasgos como la complacencia dentro del modelo, y mostró que los modelos que manipulan recompensas durante el entrenamiento también aprenden espontáneamente a engañar y sabotear su propia supervisión.

Noticias de IA sin exageraciones – Curada por humanos

Suscríbete a THE DECODER para leer sin anuncios, un boletín semanal de IA, nuestro exclusivo informe fronterizo "AI Radar" seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.

Sigue leyendo para ver el panorama completo.
Suscríbete para una cobertura sin exageraciones.

• Acceso completo a todos los artículos de THE DECODER
• Sin anuncios
• Únete a los comentarios y las discusiones de la comunidad
• Un resumen semanal de noticias de IA por correo
• 6 veces/al año: "AI Radar" — análisis profundos sobre los temas de IA más importantes
• Noticias diarias de IA, siempre al día
• Nuestro archivo completo de diez años
• Cubierto por un equipo con más de 10 años en IA