IT之家 30 de octubre: la investigación más reciente de Anthropic muestra que incluso los expertos con experiencia,pueden adoptar sin darse cuenta las preferencias aleatorias de un agente de IA y creer que la conclusión final es propia.
El equipo de investigación simuló un escenario de evaluación de políticas de una cooperativa agrícola, inventando una «cooperativa agrícola Greenfields», para deliberar una decisión sobre un «servicio de asesoría agrícola» de participación voluntaria y subvencionado por la cooperativa: si extenderlo a todas las granjas o cancelar el proyecto. La junta directiva de la cooperativa fijó un umbral de decisión: el proyecto debía generar un aumento de productividad de aproximadamente 3%–4%.
El equipo invitó a 50 expertos en inferencia causal (causal inference) a actuar como «analistas principales», recibieron los datos observacionales de la cooperativa y debían presentar finalmente un informe estructurado que incluyera estimaciones puntuales, intervalos de confianza y recomendaciones de política.
Los resultados mostraron que, en cuatro decisiones analíticas como cómo medir la productividad o qué método estadístico elegir, los expertos adoptaron las preferencias de la IA en hasta el 86% de los casos, muy por encima del 50% de una elección aleatoria.
Incluso cuando los participantes ya tenían un juicio previo, tras una opinión contraria de la IA su probabilidad de cambiar de postura era 53 puntos porcentuales mayor que cuando la IA coincidía con ellos. Ni la experiencia investigadora, ni el nivel de autopercepción de experiencia, ni la formación académica, ni la confianza en la IA redujeron de forma fiable este efecto.
Más llamativo aún: la mayoría de los expertos no notaron haber sido influidos. En la encuesta posterior, el 52% de los participantes consideró que la recomendación final se parecía más a su propia opinión, y otro 35% la consideró mayormente o completamente suya; el 77% reutilizó al menos un argumento de la IA en su explicación, en algunos casos con redacción casi idéntica, pero solo el 15% mencionó explícitamente a la IA.
La investigación también encontró que los participantes que usaron IA completaron el análisis más rápido y con menos errores graves: el 55% de los análisis sin IA presentaba defectos graves de método o de código, con una mediana de 90 minutos; con IA, la proporción de defectos graves cayó al 6% y la mediana de tiempo fue de 65 minutos.
Los investigadores advierten que si muchos equipos usan el mismo modelo con preferencias predeterminadas coincidentes, podría crearse un «falso consenso» e incluso debilitarse la independencia de las revisiones de seguridad de la IA. El equipo recomienda que los agentes de IA presenten simultáneamente los argumentos más fuertes de ambas posturas, o que pregunten primero la postura del usuario.
IT之家 proporciona la dirección de referencia: