このほど、Gizmodoの報道によると、マサチューセッツ工科大学の科学者パティ・メース（Pattie Maes）氏のチームの研究により、AIが生成したコンテンツとディープフェイク技術が人間の記憶を歪めることに成功しており、参加者の脳内に完全に捏造された偽の記憶を植え付けていることさえ示された。
実験では、AIで改変された写真に接した被験者は、元の画像を誤って記憶しやすいだけでなく、誤った記憶に対して極めて高い自信を示すことが明らかになった。こうした現象は政治スキャンダルなどのシーンで特に顕著であり、有権者の投票意欲を低下させるだけでなく、情報の訂正後も政治的意思決定に影響を与え続ける。
生成AIがさまざまな業界に深く導入されるなか、業界では「人と機械の協働」において高度な専門家が出力結果を審査することに期待が寄せられているが、研究によれば、人間のユーザーはAIのハルシネーションを安定して識別することが難しく、自身の判断も誤情報に誘導されやすいという。
以前、米軍がイランの小学校を空爆し重大な死傷者を出した事件では、国防総省の内部調査により、その一因として古いデータに基づいて動くパランティア（Palantir）のAIシステムへの過度の依存が挙げられた。この一連のリスクは、現状では万全の誤り訂正メカニズムが欠如しているなか、AIシステムを盲目的に信頼・導入することが社会の真実と安全に深遠かつ潜在的に破滅的な影響を及ぼしていることを浮き彫りにしている。