Cómo los agentes de IA influyen en las decisiones de criterio de los expertos

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

Cuando los expertos entregan su trabajo a un agente de IA, la suposición habitual es que ellos todavía toman las decisiones importantes. El agente escribe el código, hace los cálculos y ofrece consejos, pero el experto decide qué medir, cómo interpretar la evidencia ambigua y cuáles deben ser los siguientes pasos. A menudo hay más de una respuesta razonable a estas preguntas, y la decisión dependerá de la experiencia y los valores de quien la tome.

Queríamos examinar si los expertos realmente toman esas decisiones importantes o si, en la práctica, ceden ante sus agentes de IA. En un estudio que presentamos en un nuevo artículo, pedimos a 50 analistas profesionales que realizaran un análisis estadístico realista con Claude Code. Todos tenían experiencia en inferencia causal, es decir, en determinar a partir de los datos si una cosa causa otra. Su tarea era asesorar a una cooperativa agrícola sobre si un servicio de asesoramiento que estaba ofreciendo era eficaz y debía expandirse.

En el proceso, los analistas tuvieron que hacer cuatro elecciones entre dos opciones razonables, como si medir la productividad como rendimiento de cultivo por hectárea o como rendimiento por unidad de costo operativo, y luego tomar una decisión final. Para ver si estaban tomando estas decisiones por sí mismos, configuramos el agente de cada analista para que favoreciera una opción en cada decisión, algo que no se comunicó a los analistas. Hacia qué lado se «inclinaría» el agente se decidiría por lanzamiento de moneda. Se le indicó al agente que presentara el mejor argumento honesto a favor de su inclinación, que cambiara de opinión si la evidencia lo exigía y que nunca engañara.

En las cuatro elecciones analíticas, los analistas siguieron la inclinación de su agente el 86% de las veces. Si la opinión del agente no hubiera influido, esperaríamos alrededor del 50%. Cuando los analistas ya habían expresado su propia preferencia antes de que el agente diera su opinión, cambiaban de postura el 60% de las veces si el agente no estaba de acuerdo, en comparación con el 6% si estaba de acuerdo.

Después, cuando se les pidió explicar sus elecciones, el 77% de los analistas usaron los argumentos de los agentes—a veces palabra por palabra—, pero solo el 15% reconocieron al agente como la fuente de esos argumentos. Los analistas que siguieron de cerca las recomendaciones de los agentes mostraron una confianza en su recomendación final similar a la del resto, y eran aproximadamente igual de propensos a calificarla como producto de su propio juicio.

No sabemos cuánto nos dice esto sobre el mundo real. Los agentes reales a veces se inclinarán de una u otra manera—sin una inclinación asignada, Claude Opus 4.8 hizo las mismas cinco elecciones en 112 de 123 ejecuciones—, pero en este caso fortalecimos sus preferencias a propósito para medir su efecto. Cuando a los agentes no se les dan preferencias claras ni instrucciones para expresarlas, el efecto podría ser menor.

Esta no es una simple historia de advertencia contra el trabajo con IA. Los analistas que usaron el agente terminaron la tarea más rápido y cometieron muchos menos errores graves que quienes optaron por trabajar sin él, aunque este último grupo era pequeño y menos experimentado, por lo que somos cautos a la hora de sacar demasiadas conclusiones. Pero a medida que la IA asume más del trabajo práctico, decisiones como estas son cada vez más el lugar donde el juicio y los valores humanos afectarán el resultado. Si los expertos ceden ante los agentes sin darse cuenta, las preferencias de los agentes—que podrían ser arbitrarias o desalineadas—podrían moldear decisiones importantes sobre propuestas de políticas o direcciones de investigación sin que nadie haya elegido esas preferencias. Esto es particularmente importante para la investigación sobre cómo mantener segura la IA. Los investigadores han comenzado a usar agentes para ejecutar y analizar experimentos, y un revisor humano solo constituye una verificación independiente si su juicio es propio.

Diseño del estudio

Reclutamos a 61 analistas para un ensayo controlado aleatorizado. Todos provenían de un grupo preseleccionado de profesionales que habían aprobado una prueba de conocimientos de inferencia causal, usaban con regularidad los lenguajes de programación Python o R y tenían experiencia práctica en análisis causal observacional, lo que significa estudiar causa y efecto usando datos del mundo real en lugar de un experimento controlado.

La tarea se planteó en una organización ficticia, la Greenfields Farming Cooperative, que ofrece un programa de asesoramiento voluntario y remunerado (igualmente ficticio) para ayudar a las granjas miembros a mejorar sus rendimientos de cultivos. Aproximadamente el 40% de los miembros se han inscrito. La junta directiva de la cooperativa debe decidir si subvenciona y expande el programa o si lo suspende. La junta expandirá el programa solo si mejora la productividad de las granjas en un margen establecido, de aproximadamente 3–4%, pero no especifica exactamente cómo debe medirse la productividad.

Dejamos deliberadamente abiertas cuatro decisiones analíticas, cada una con dos opciones razonables:

• Resultado: ¿medir la productividad como rendimiento de cultivo por hectárea o como rendimiento por unidad de costo operativo?
• Método de comparación: ¿observar cómo cambiaron los rendimientos de las granjas inscritas después de unirse en comparación con cómo cambiaron los rendimientos de otras granjas durante el mismo período (un diseño de «diferencia en diferencias»), o comparar los rendimientos directamente ajustando estadísticamente las diferencias entre las granjas?
• Qué granjas cubre la evaluación: ¿medir el efecto solo en las granjas inscritas o en toda la membresía de la cooperativa?
• Ponderación: ¿contar cada granja por igual o dar más peso a los productores más grandes?

Estas cuatro decisiones conducían a una recomendación final: si desplegar el programa a todos o discontinuarlo. Los analistas y agentes también podían proponer una extensión de un año.

Cada una de las decisiones analíticas podía mover la ganancia de productividad estimada varios puntos porcentuales, lo cual es importante cuando el umbral de la junta es de 3–4%.

Para cada una de las cinco decisiones presentadas a cada analista, la inclinación del agente se estableció mediante un lanzamiento de moneda. Le dimos al agente sus inclinaciones en instrucciones ocultas (un system prompt) que le decían que sostuviera cada inclinación como su propia opinión, que la planteara cuando surgiera la decisión y que hiciera el argumento más sólido posible que los datos permitieran. Las mismas instrucciones le decían que cambiara de opinión si la evidencia se volvía decisivamente en su contra, y que nunca malrepresentara resultados, ocultara datos ni hiciera un argumento que los números no respaldaran.

De 61 participantes, 11 optaron por no usar el agente y quedan fuera del análisis salvo que se indique lo contrario. Entre los 50 restantes, el 65% tenía una maestría o doctorado o tenía seis o más años de experiencia, y el 90% se calificó a sí mismo como competente o experto en inferencia causal observacional (de los 48 que respondieron la encuesta). El tiempo mediano en la tarea fue de 65 minutos, y la mitad de los analistas tomó entre 50 y 79 minutos. Trabajaron en una versión web del editor VS Code con Claude Code integrado, ejecutando Claude Opus 4.8 con esfuerzo High.

Al terminar, los analistas enviaron sus cuatro decisiones analíticas y su recomendación final junto con una estimación del efecto del programa en la productividad, con un intervalo de confianza. Luego completaron una encuesta posterior a la tarea. Un modelo de IA independiente leyó cada envío y su código para registrar qué opción había elegido el analista en cada decisión. Cuando su lectura discrepaba con la propia respuesta del analista en la encuesta, tomábamos la decisión final.

Resultados

Los analistas en general siguieron la inclinación de sus agentes. En cada una de las cuatro decisiones analíticas, las elecciones de los analistas coincidieron con la inclinación de sus agentes la gran mayoría del tiempo: 92% para la medida de resultado, 82% para el método de comparación, 81% para qué granjas cubría la estimación, y 90% para la ponderación. Combinando las cuatro, el resultado fue 86%. La Figura 2 muestra cuánto desplazó la inclinación de los agentes las elecciones de los analistas en cada decisión, incluida la recomendación final.

La inclinación de los agentes tuvo un efecto más débil en la recomendación final, pero su aporte anterior aún moldeó el resultado. Cuando el agente se inclinaba hacia el despliegue del programa, el 54% de los analistas lo recomendó, en comparación con el 36% cuando se inclinaba en sentido contrario. (Una extensión de un año cuenta como no desplegar.) Creemos que el efecto fue más débil porque, una vez que los analistas tenían su estimación, la recomendación se derivaba en gran medida de si superaba el umbral de 3–4% de la junta, lo que dejaba menos margen para el juicio. Pero para entonces, la inclinación de un agente en las decisiones analíticas ya había moldeado la propia estimación. Usando solo esas cuatro inclinaciones, un modelo estadístico predijo correctamente el 82% de las recomendaciones de los analistas, en comparación con el 61% para adivinar siempre la recomendación más común. (Esto excluye a los analistas que propusieron una extensión.) Así que pudimos predecir en gran medida qué recomendaría un analista solo a partir de los lanzamientos de moneda, antes incluso de que comenzaran la tarea.

Los analistas que ya habían elegido una opción a menudo cambiaron cuando su agente discrepaba. En 38 casos, un analista había expresado una preferencia sobre una de las decisiones analíticas antes de que el agente expresara su inclinación. Cuando la inclinación iba en contra de su elección, cambiaban el 60% de las veces, en comparación con el 6% cuando coincidía con su elección. Es una brecha de 54 puntos porcentuales, pero como esto se basa en solo 38 casos, la estimación es imprecisa, y el intervalo de confianza del 95% va de 24 a 82 puntos porcentuales. Tampoco podemos estar seguros de que la diferencia sea causada por la influencia de la IA: los analistas que expresaron una preferencia pueden haber sido sistemáticamente diferentes de alguna manera de aquellos que no lo hicieron.

La experiencia y la pericia no predijeron quién cedía. En un análisis exploratorio, verificamos si alguna de 10 características predecía con qué frecuencia las decisiones de los analistas seguían la inclinación de sus agentes: años de experiencia, pericia autoevaluada en inferencia causal, educación, puntaje en un examen de inferencia causal, confianza en la IA, frecuencia de uso de la IA, "necesidad de cognición" (una medida de cuánto disfrutan las personas del pensamiento esforzado), apertura mental, género y edad. Solo la edad mostró un vínculo estadísticamente significativo, con los analistas mayores siguiendo la inclinación con más frecuencia. Pero no leemos mucho en eso: si pruebas muchas cosas diferentes, es más probable obtener un resultado positivo solo por azar, y cuando ajustamos por eso, el resultado desapareció. Como la mayoría de los analistas siguió a su agente en la mayoría de las decisiones, había poca variación que explicar de todos modos, por lo que incluso las diferencias reales habrían sido difíciles de detectar.

Los analistas que siguieron la inclinación de su agente seguían considerando la recomendación como propia. En la encuesta posterior a la tarea, el 52% de los analistas calificó la recomendación final como más suya que de su agente. El resto dijo que era más una recomendación del agente. Pero ambos grupos fueron influidos de manera aproximadamente igual por sus agentes: las elecciones de los primeros se desplazaron alrededor de 65 puntos porcentuales hacia la inclinación de sus agentes, en promedio, en comparación con 79 puntos porcentuales para los últimos, una diferencia dentro del margen de error. La confianza de los analistas en su propia recomendación mostró un patrón similar. Se les pidió calificar su confianza de 0 ("es un lanzamiento de moneda") a 100 ("apostaría mi reputación profesional a ello"). Quienes siguieron la inclinación en las cuatro decisiones analíticas promediaron 71, en comparación con 73 para el resto.

Los analistas explicaron sus elecciones con las palabras de su agente. Después de la tarea, la encuesta preguntaba sobre cada decisión: “Brevemente, ¿por qué esa opción en lugar de la alternativa? Si no fue una elección activa, simplemente dígalo”. Los analistas no podían revisar sus conversaciones con el agente mientras respondían. Aun así, el 77% repitió el argumento de su agente en al menos una respuesta, a veces palabra por palabra, y solo el 15% le atribuyó mérito al agente en algún momento.

Cuando se les preguntó explícitamente sobre qué creían que trataba el estudio, seis de los 48 adivinaron correctamente que se trataba de la influencia de la IA en sus decisiones, pero ninguno sospechó que las preferencias de la propia IA habían sido manipuladas.

Los analistas que trabajaron sin IA cometieron más errores graves y tardaron más tiempo. De los 11 participantes que optaron por no usar el agente, seis (55%) cometieron errores metodológicos graves que invalidaron sus resultados, en comparación con tres de los 50 (6%) que sí lo usaron. Dos modelos de IA señalaron los errores, y uno de los autores del estudio verificó cada uno sin saber a qué grupo pertenecía el analista. Los analistas que trabajaron sin agente también tardaron más, con un tiempo mediano de 90 minutos, en comparación con 65 para los demás.

Los dos grupos no eran directamente comparables, por lo que no podemos estar seguros de si los diferentes resultados fueron causados por la decisión de usar o no usar IA. Quienes trabajaron sin IA eran menos experimentados en promedio: menos tenían una maestría o un doctorado (cuatro de 11, en comparación con 24 de 46 que usaron el agente), más tenían dos años o menos en funciones de análisis (seis de 11, en comparación con 15 de 48), y menos se calificaron a sí mismos como competentes o expertos en inferencia causal (ocho de 11, en comparación con 43 de 48).

Limitaciones de nuestro estudio

• Fortalecimos deliberadamente la inclinación de los agentes. Nuestras instrucciones hicieron que el agente mantuviera y expresara una preferencia de manera confiable, para que pudiéramos medir su efecto. Las tasas que informamos muestran lo que sucede cuando un agente se inclina en un sentido y lo dice, pero cuánto aplica eso al trabajo del mundo real dependerá de cuán fuertes sean las opiniones del propio experto, de cuán claramente definidas estén las decisiones involucradas y de cómo se comporte el modelo, incluido si tiene una preferencia y si la manifiesta espontáneamente.
• Estudiamos una tarea, en un campo, con un modelo. La tarea tomó aproximadamente una hora, trataba específicamente sobre agricultura y el agente funcionaba con Claude Opus 4.8. Los analistas eran expertos en inferencia causal pero nuevos en agricultura. En un trabajo real, conocerían mejor el campo y probablemente tendrían opiniones propias más firmes. También podrían entrevistar a personas relevantes, hablar con la junta y, de otras maneras, reducir las opciones razonables, lo que podría disminuir la influencia del agente.
• Nuestras estimaciones son promedios entre los analistas. Como los lanzamientos de moneda diferían entre los analistas, comparar a analistas cuyos agentes se inclinaban en sentidos opuestos nos indica el efecto promedio de la inclinación. No registramos la opinión propia de cada participante antes de que el agente expresara su inclinación, por lo que no podemos decir cuánto fue influenciado cada participante en particular.
• Registramos qué opción eligieron los analistas, pero no con cuánta firmeza la preferían. Una posible explicación para deferir es que el experto no tenía opiniones firmes propias. Medimos solo si las elecciones de los analistas cambiaban, no cuán confiados estaban en su elección.

Lo que esto significa

Una razón por la que los analistas deferieron con tanta facilidad puede ser que los expertos no siempre llegan con sus opiniones completamente formadas. A menudo elaboran, o incluso descubren, lo que piensan mientras sopesan las opciones. A los agentes en nuestro estudio se les dijo que no engañaran, y a menudo eran abiertos sobre cómo cambiarían los resultados bajo cada opción. Pero rara vez presentaban un argumento sólido sobre por qué un experto podría preferir la otra opción, lo que podría haber ayudado a los analistas a tomar una decisión mejor informada. Con solo un lado bien argumentado, los analistas podían adoptar los supuestos del agente sin elaborar los suyos propios.

Para los expertos individuales, esto podría significar perder agencia sobre su propio trabajo, una forma de lo que los investigadores llaman desempoderamiento. El trabajo todavía se publica bajo el nombre del experto, pero las decisiones que más dependen de su juicio quedan, en realidad, resueltas por las creencias previas del agente.

Sin embargo, lo que está en juego va más allá de los individuos, porque gran parte de la ciencia y las políticas se basa en juicios como estos. Cuando equipos de investigación independientes llegan al mismo resultado, confiamos más en él, porque asumimos que cada equipo llegó a él de manera independiente. Si esos equipos todos deferieren a modelos con las mismas preferencias, su acuerdo quizás ya no sea independiente. Un consenso aparente podría reflejar las preferencias de un solo modelo, y si esas preferencias son arbitrarias o están desalineadas, el mismo sesgo moldearía muchos resultados a la vez.

El mismo problema se aplica a la investigación en seguridad de la IA. Los investigadores han comenzado a usar agentes de IA para ejecutar y analizar experimentos, en parte porque hay más trabajo del que el personal humano puede seguir. Mantener a un humano en el ciclo asume que el juicio del humano proporciona una verificación independiente. Pero en nuestro estudio, los analistas aprobaron trabajos en los que las decisiones de criterio habían sido resueltas en gran medida por las preferencias asignadas aleatoriamente del agente. Nuestro artículo completo también muestra que los agentes sin una inclinación asignada tienen preferencias propias más débiles y, a veces, se oponen a los usuarios.

Este tipo de cesión de criterio es difícil de detectar. Revisar el trabajo asistido por IA en busca de errores, o compararlo con una respuesta de referencia, asume que existe una respuesta correcta. Pero donde no la hay, como en las decisiones de criterio, el trabajo puede parecer sólido independientemente de la opción elegida. Consultar a expertos después puede no ayudar tampoco, porque es posible que no noten la influencia del agente.

Este no es un argumento para usar menos la IA. Bien utilizada, la IA podría ampliar la capacidad de acción de las personas en lugar de erosionarla. Sugerimos tres áreas para el estudio futuro:

Medición de la cesión de criterio. Pudimos medir la cesión de criterio en nuestro estudio porque aleatorizamos la inclinación del agente, algo rara vez posible en el trabajo real, y nuestros resultados sugieren que las personas quizás no puedan informarla con precisión por sí mismas. Necesitamos formas de medirla en entornos cotidianos, y un trabajo reciente que estima cómo alguien habría llevado a cabo una tarea sin IA es un buen comienzo. También necesitamos una mejor imagen de las preferencias predeterminadas de los modelos y de cómo las expresan, para que las personas puedan interactuar con los modelos de manera más informada.

Diseñar los agentes de manera diferente. Los agentes podrían presentar el mejor argumento para cada opción, o pedir a los expertos su propia opinión antes de ofrecer una. Pero esto podría abrumar rápidamente a los usuarios. Un solo análisis puede implicar muchas decisiones abiertas, y gran parte del valor de la IA es que las personas no tienen que pensar en cada una de ellas. Los agentes necesitarían plantear solo las decisiones más importantes, pero elegir esas es en sí mismo una decisión de criterio. Probablemente también importe cómo habla un modelo, ya que la confianza y la fluidez pueden influir en las personas. Un modelo que suena muy seguro de sí mismo podría inclinar a las personas más de lo justificado, pero un modelo evasivo solo irritará a quienes intenten usarlo.

Cambiar las instituciones. Las instituciones a menudo tratan la aprobación de un experto como evidencia de juicio independiente. A medida que la IA hace más del trabajo, esa suposición se vuelve más frágil. Las organizaciones necesitarán decidir deliberadamente qué decisiones requieren el juicio informado propio de una persona, y dar a las personas el tiempo y los recursos para formarlo. El juicio también depende de la habilidad, y las personas que dejan de tomar estas decisiones pueden perder la capacidad de tomarlas. A medida que los modelos se vuelvan más capaces, las instituciones necesitarán una estrategia explícita para establecer el papel de los humanos y el desarrollo de sus habilidades. Incluso con sistemas de IA extremadamente capaces, las instituciones quizás quieran proteger las habilidades y la supervisión humanas por razones de seguridad o resiliencia, o porque las valoran por sí mismas.

Puede que no exista una única división correcta del trabajo entre las personas y la IA. Algunas decisiones pueden ser aptas para delegar, y otras vale la pena conservarlas. Con las herramientas adecuadas, esa división puede ser algo que elijamos, en lugar de algo en lo que derivamos sin querer.

Autores & agradecimientos

Agradecimientos

Este proyecto fue liderado por Amaç Herdağdelen, Hailey Joren y Alex Tamkin. El apoyo editorial para esta entrada del blog fue proporcionado por Tom Chivers y Arjun Panickssery.

Nos gustaría agradecer a Joe Benton, Mojmir Stehlik y Avery Griffin por hacer posible este proyecto a través del Anthropic Fellows Program. También nos gustaría agradecer a Matthew Jörke, Onur Altındağ y Vishakh Padmakumar por sus comentarios sobre el diseño experimental.

Cita

@misc{herdagdelen2026judgmentcalls,
  author = {Herdağdelen, Amaç and Joren, Hailey and Tamkin, Alex},
  title = {How AI agents shape experts’ judgment calls},
  year = {2026},
  howpublished = {Anthropic Research},
  url = {https://www.anthropic.com/research/agents-judgment-calls}
}