Récemment, selon un rapport de Gizmodo, les recherches de l'équipe de la scientifique du MIT Pattie Maes montrent que les contenus générés par l'intelligence artificielle et les technologies de deepfake parviennent à déformer la mémoire humaine, allant même jusqu'à implanter dans le cerveau des participants des faux souvenirs entièrement fabriqués.
Les expériences montrent que les sujets testés exposés à des photos modifiées par l'IA non seulement se souviennent facilement à tort de l'image originale, mais manifestent aussi une confiance extrêmement élevée dans leurs faux souvenirs. Ce type de phénomène est particulièrement manifeste dans des contextes comme les scandales politiques : il non seulement réduit la volonté de vote du public, mais continue aussi d'influencer les décisions politiques même après la correction des informations.
Alors que l'IA générative est déployée en profondeur dans tous les secteurs, et que l'industrie compte généralement sur des experts de haut niveau dans la « collaboration homme-machine » pour vérifier les résultats, l'étude indique que les utilisateurs humains non seulement peinent à identifier de manière fiable les hallucinations de l'IA, mais voient aussi leur propre jugement facilement influencé par de fausses informations.
Auparavant, lors du bombardement par l'armée américaine d'une école primaire en Iran ayant causé de lourdes pertes, une enquête interne du département de la Defense a montré que cela s'expliquait en partie par une dépendance excessive au système d'IA de Palantir alimenté par des données obsolètes. Cette série de risques met en évidence qu'en l'absence actuelle de mécanismes de correction infaillibles, la confiance et le déploiement aveugles de systèmes d'IA ont des effets profonds et potentiellement catastrophiques sur la vérité et la sécurité de la société.