최근 Gizmodo에 따르면, 매사추세츠공과대학교(MIT) 과학자 파티 메스(Pattie Maes) 팀의 연구에 따르면 인공지능이 생성한 콘텐츠와 딥페이크 기술이 인간의 기억을 성공적으로 왜곡하고 있으며, 참가자들의 뇌에 완전히 조작된 거짓 기억까지 심고 있는 것으로 나타났다.
실험 결과, AI가 수정한 사진에 접촉한 적이 있는 실험 대상자들은 원본 이미지를 쉽게 잘못 기억했을 뿐만 아니라, 잘못된 기억에 대해 매우 높은 확신을 보였다. 이러한 현상은 정치 스캔들과 같은 상황에서 특히 두드러지며, 대중의 투표 의사를 낮출 뿐만 아니라 정보가 정정된 후에도 정치적 의사결정에 지속적으로 영향을 미친다.
생성형 AI가 각 산업에 깊이 배치됨에 따라 업계에서는 일반적으로 '인간-기계 협업'에서 고급 전문가가 출력 결과를 검토하기를 기대하고 있지만, 연구에 따르면 인간 사용자는 AI 환각을 안정적으로 식별하기 어려울 뿐만 아니라, 그 자신의 판단도 잘못된 정보에 쉽게 좌우된다.
이전에 미군이 이란의 한 초등학교를 공습하여 큰 인명 피해를 낸 사건에서 국방부 내부 조사는 그 원인의 일부가 시대에 뒤떨어진 데이터에 기반한 팔란티어(Palantir) AI 시스템에 대한 과도한 의존에 있었음을 보여주었다. 이러한 일련의 잠재적 위험은 현재 완벽한 오류 수정 메커니즘이 부족한 상황에서 AI 시스템을 맹목적으로 신뢰하고 배치하는 것이 사회적 진실과 안전에 심원하고 잠재적으로 재앙적인 영향을 미치고 있음을 부각시킨다.