IT之家 Le 30 octobre, selon la dernière étude d'Anthropic, même des experts chevronnéspeuvent adopter à leur insu les préférences aléatoires d'un agent IA et croire que la conclusion finale vient d'eux-mêmes.
L'équipe de recherche a simulé un scénario d'évaluation politique d'une coopérative agricole, en inventant une « coopérative agricole Greenfields », qui devait décider au sujet d'un « service de conseil agricole » volontaire et subventionné par la coopérative : l'étendre à toutes les fermes ou arrêter le projet. Le conseil d'administration de la coopérative avait fixé un seuil de décision : le projet devait apporter une amélioration de la productivité d'environ 3 %–4 %.
L'équipe de recherche a invité 50 experts en inférence causale (causal inference) à agir comme « analystes principaux », à recevoir les données observationnelles de la coopérative et à soumettre finalement un rapport structuré comprenant une estimation ponctuelle, des intervalles de confiance et des recommandations politiques.
Les résultats montrent que, parmi quatre décisions d'analyse telles que la manière de mesurer la productivité ou le choix des méthodes statistiques, les experts ont adopté les préférences de l'IA dans 86 % des cas, bien au-delà des 50 % d'un choix aléatoire.
Même lorsque les participants avaient déjà un jugement préalable, après que l'IA a donné un avis contraire, la probabilité qu'ils changent de position était supérieure de 53 points de pourcentage à celle observée quand l'IA partageait leur avis. L'expérience en recherche, le niveau d'expertise autoévalué, le parcours éducatif et la confiance en l'IA n'ont permis de réduire de manière fiable cette influence.
Plus remarquable encore, la plupart des experts n'ont pas remarqué qu'ils étaient « influencés ». Dans l'enquête menée après coup, 52 % des participants ont estimé que la recommandation finale ressemblait davantage à leur propre opinion, et 35 % de plus ont jugé qu'elle leur appartenait en grande partie ou entièrement ; 77 % des participants ont réutilisé au moins un argument de l'IA dans leurs explications, certains avec des formulations presque identiques, mais seulement 15 % ont explicitement mentionné l'IA.
L'étude révèle également que les participants utilisant l'IA ont terminé leur analyse plus rapidement et avec moins d'erreurs graves : parmi les analyses sans IA, 55 % présentaient des défauts méthodologiques ou de code graves, avec une durée médiane de 90 minutes ; avec l'IA, la proportion de défauts graves est tombée à 6 %, avec une durée médiane de 65 minutes.
Les chercheurs mettent en garde : si de nombreuses équipes utilisent le même modèle dont les préférences par défaut sont identiques, cela risque de créer un « faux consensus » et même d'affaiblir l'indépendance des examens de sécurité de l'IA. L'équipe recommande que les agents IA présentent simultanément les meilleurs arguments des deux camps, ou demandent d'abord la position de l'utilisateur.
IT之家 fournit l'adresse de référence :