IT之家 10월 19일 소식에 따르면, 워싱턴 포스트의 보도에 의하면 연구 결과에 따르면 AI가 인간의 기억을 조작할 수 있다고 합니다. 이 실험에서는 결혼식, 도시 거리, 경주 장면 등의 일반적인 사진 24장을 준비했습니다. 매사추세츠 공과대학교 미디어랩 교수인 패티 메스와 동료들은 이 사진들을 200명의 참가자들에게 보여주었습니다.
짧은 휴식 후, 일부 사람들은 원본 이미지를 다시 보았고; 다른 사람들은 AI로 수정된 버전을 보았다 — 인물의 표정이 변경되거나, 영상에 군인 모습이 추가되거나, 기후 변화와 관련된 장면이 추가되었다.
그 후 연구원들은 기억 테스트를 진행했다.
메스는 결과를 보고 충격을 받았다: AI가 이미지를 조작하는 것을 보는 피험자들은 잘못된 기억을 만들 가능성이 크게 증가했습니다. 더 심각한 것은, 그들이 이러한 잘못된 기억에 대한 자신감이 오히려 높아졌다는 점이다.
메스는 말했다. “기본적으로, 나는 이 모든 것이 매우 위험하다고 생각한다.”
지금까지 대중의 우려는 대부분 연구자들이 말하는 “인지 포기”에 집중되어 있습니다. 기계가 점점 더 많은 사고 관련 작업을 맡게 되면서, 사람들은 기계이 제공하는 정보를 살펴보는 것을 점점 더 꺼리게 되고, 그 능력도 점점 약해집니다. 하지만 훨씬 적은 관심을 받고 있는 또 다른 가능성도 있습니다: AI가 우리의 기억 자체를 변화시키고 있을지도 모릅니다.
정치적 사건, 범죄 및 새로운 영화에 대한 새로운 연구들에 따르면, AI로 생성된 이미지와 대화는 허위 세부 정보를 인간의 뇌에 심어서, 결코 일어나지 않았던 일들이 실제로 존재한다고 확신하게 만든다.
기억은 단지 과거를 간직하는 것만이 아닙니다. 기억은 지식과 경험을 제공하여, 우리가 현재를 이해하고 미래를 예측하며, 자아 인식을 형성하고 인간관계를 유지할 수 있도록 도와줍니다. 또한 개인과 집단이 결정을 내리는 데도 지침을 제공합니다.
하지만 기억 자체도 인류 마음의 큰 단점 중 하나입니다. 우리는 경험한 사물의 일부분만을 기억할 수 있으며, 세부사항은 사라지고 회상은 흐릿해집니다. 또한 매번 회상할 때마다 기억 자체도 변하게 됩니다.
AI는 이러한 단점들을 보완할 수 있을 것처럼 보입니다. AI는 방대한 정보를 저장하고 초 단위로 검색할 수 있으며, 인간이 영원히 잊어버릴 가능성이 있는 세부 사항을 찾아낼 수 있습니다. 하지만 이러한 특성들은 동시에 위험도를 가져옵니다. AI 시스템은 과거를 단순히 저장하는 것뿐만 아니라, 과거 정보를 해석하고 요약하며 재구성하기도 하며, 때로는 오류를 범하기도 합니다.
그 결과는 단순히 사진이나 대화를 잘못 기억하는 것보다 훨씬 심각합니다. 교통사고부터 성폭행 사건에 이르기까지, 법정 재판에서는 증인의 기억에 의존하는 경우가 많습니다. 수십 년에 걸친 연구 결과에 따르면 목격자의 기억은 쉽게 왜곡될 수 있다는 것입니다. 역사 자체도 개인과 사회가 어떤 사건을 보존하거나 잊어버리거나, 결국 무엇을 믿고 싶은지에 따라 결정됩니다.
인간의 기억은 타고난 결함을 가지고 있다
메스는 인공지능 분야의 선구자입니다. 35년 이상의 경력 초기 단계에서 그녀는 초기 인터넷의 기반을 마련한 일부 알고리즘 개발에 참여했습니다. 하지만 오랫동안 그녀가 더 관심을 가진 것은 AI의 또 다른 가능성이었습니다. 즉, 기계가 인간의 지능을 대체하는 것이 아니라 인간의 지능을 확장하는 것이었습니다.
메스에게 이 문제는 개인적인 감정과 관련이 있다. 나이가 들면서 그녀의 어머니는 일상생활의 작은 장면들을 잊기 시작했다.
“엄마는 어제 누가 왔는지, 다른 사람이 무슨 말을 했는지를 잊어버리죠,” 메스가 말했다. 그녀는 스스로 편지를 쓸 수밖에 없었다: “‘딸이 2주 후에 올 거라고 해요.’”
메스는 노트북보다 훨씬 더 강력한 도구를 구상하기 시작했다: 사람의 삶의 흐름을 조용히 기록할 수 있는 기억 보조기관이다.
알츠하이머병 및 기타 치매 환자들에게는 이 문제가 특히 시급합니다. 이러한 질병은 기억 상실을 전형적인 특징으로 하며, 환자의 독립적인 생활 능력을 빼앗습니다.
메스의 연구팀은 여러 세대에 걸친 외부 기억 시스템을 구축했습니다. Memoro와 MemPal은 AI를 기반으로 하며, 웨어러블이나 휴대용 장치와 함께 사용되어 일상 생활의 단편들을 수집합니다. 이후에 쉽게 불러낼 수 있도록 합니다. 대화에서 누가 무슨 말을 했는지 잊었나요? 시스템을 통해 확인할 수 있습니다. 열쇠가 어디에 있는지 기억하지 못하셨나요? 시스템이 위치를 찾아줄 수 있습니다.
이 접근법은 노화된 뇌가 기억력을 향상하려고 노력하는 것이 아니라, 다른 기억 저장소에 연결해 주는 것입니다.
노인을 위한 초기 테스트 결과가 긍정적입니다. 메스는 자신이 96세인 어머니의 인지 기능 저하가 너무 심해서 이 기술의 혜택을 받을 수 없다고 말했습니다. 하지만 이 과학자는 매우 낙관적이며, 이러한 시스템이 미래에 많은 사람들이 자신의 생물학적 기억이 저하될 때 독립적인 삶을 유지할 수 있도록 도울 것이라고 말합니다. 이미 시장에는 유사한 상업용 제품들이 등장하고 있습니다. 예를 들어, 개인의 생애를 입력하는 인터랙티브 회상 도구나 치실 사용과 같은 일상 활동을 지원하는 맞춤형 스마트 안경 등이 있습니다.
만약 기계가 우리의 기억의 확장이 된다면, 우리가 스스로 형성한 기억은 어떻게 될까?
점점 더 AI에 의존하게 되고 있다
메스의 또 다른 연구 그룹이 이 문제에 대한 명확한 증거를 제시했습니다.
지난해 발표되었으며 현재 동료 심사를 거치고 있는 실험에서, 54명의 참가자에게 SAT 스타일의 에세이를 작성하도록 요청했습니다. 주제는 예를 들어 행복의 의미와 같습니다. 한 그룹은 어떠한 온라인 도구도 사용하지 않았습니다; 다른 그룹은 구글 검색을 사용할 수 있었지만 AI로 답을 생성하는 것은 허용되지 않았습니다; 세 번째 그룹은 ChatGPT를 사용할 수 있었습니다.
글쓰기 과정에서 두피 전극이 뇌의 전기 활동을 기록했으며, 차이가 매우 뚜렷했습니다: 독립적으로 글을 쓴 참가자들의 경우 뇌의 여러 영역 간 신경 연결이 가장 강하고 범위도 넓았습니다; 구글을 사용한 참가자들은 중간 위치에 있었고; ChatGPT를 사용한 참가자들의 경우 뇌 연결이 가장 약했습니다.
이후 참가자들에게 방금 쓴 글을 다시 말하도록 했으며, ChatGPT에 의존하는 사람들은 자신이 쓴 글을 기억하기 어렵다.
IT之家에 따르면, 기억이 단순히 정보를 뇌에 저장하는 것과 같은 것은 아닙니다. 주의력, 주관적 노력, 정보 추출, 연관성 형성 등 모든 과정이 함께 기억을 강화합니다. 생성형 AI는 이 중 일부 인지 작업을 절약해줍니다.
펜실베이니아 대학교 워턴 경영대학원 마케팅 교수 겸 보조교수인 기디온 나베와 런던 킹스 칼리지의 보조교수 스티븐 쇼는 AI가 인간의 인지에 미치는 영향에 대해 연구하며 더 깊은 우려를 제기했다. 나베는 할리우드식 악몽인 슈퍼 AI가 인간의 통제권을 장악하는 것보다는, 인간이 기계가 대신할 수 있는 능력을 점차 사용하지 않게 되는 더 은밀한 위험에 대해 걱정한다.
“AI가 세계를 장악하는 것보다 인간 자신의 능력이 쇠약해지는 일이 더 가능할 것입니다,” 그는 덧붙였으며, 미래에 “사고가 선택 사항이 되는” 상황을 우려했다.
연구자들이 “기술 쇠퇴”의 징후가 나타났다고 말하는 증거가 있었습니다. 샤오는 여러 연구를 언급했습니다. AI를 도구로 활용해 일하는 사람들(예를 들어 AI를 이용해 암을 진단하는 의사들)이 그 도구를 잃게 되면 업무 성과가 저하된다고 합니다.
2025년에 《란셋 · 위장병학 및 간질환학》에 발표된 한 연구에서 이러한 잠재적인 영향이 드러났습니다. 연구진은 19명의 경험 많은 의사들이 거의 1,500건의 대장내시경 검사를 평가한 결과를 조사한 결과, AI를 정기적으로 사용한 후 의사들의 독립적인 암 전이 병변 발견 능력이 약 20% 감소하는 것을 확인했습니다.
“그들은 이전처럼 이 지적 운동을 하지 않는다,” 그가 말했다, “사용하면 소모된다.”
아동들에게는 더 근본적인 문제가 있다: 그들은 핵심 인지 능력이 아직 완전히 발달하지 않은 상태에서 AI에 정신적 업무를 위임할 수 있다. “그들은 처음부터 중요한 비판적 사고 능력을 기르지 못할 수도 있다.”
물론, ChatGPT과 같은 AI 도구를 사용하면 사람의 능력이 저하될 것이라는 의미는 아닙니다. 최근의 연구들에서는 일반적인 AI 사용이 인지 저하나 영구적 기억 손상을 초래한다는 증거가 없습니다. 관련 연구는 아직 초기 단계에 있으며, 인류는 오랫동안 계산기, 시계, 사전, 계산장치와 같은 도구를 이용해 기억과 사고를 외부화해 왔습니다.
하지만 생성형 AI는 새로운 변수를 가져다줍니다. 우리는 검색된 정보를 해석해 주는 AI에 점점 더 의존하게 되고, 사람들은 AI가 제시하는 내용을 쉽게 믿게 됩니다. 네브와 쇼의 실험에서 참가자들은 잘못된 정보를 받아도 여전히 높은 비율로 AI의 조언을 따랐습니다.
AI가 오류를 일으킬 때 무엇이 발생하나요?
이번 주에 스웨덴 말뫼에서 AI 윤리 및 사회 분야 연구자들이 연례 회의를 개최했으며, 많은 사람들이 한 가지 문제에 집중했습니다. 바로 인공지능이 인간의 기억에 개입하기 시작했을 때 어떤 결과가 발생하는가 하는 것이죠?
점점 더 많은 연구에 따르면, 생성형 AI는 놀라울 정도로 지속적인 방식으로 기억을 방해한다: 기억을 왜곡하고, 자신의 생각과 기계가 생성한 내용의 경계를 모호하게 만들며, 심지어 전혀 일어나지 않은 사건에 대한 기억까지 삽입한다.
한 연구에서 연구자들은 참가자들에게 범죄 영상을 보여준 다음 생성형 AI 채팅 로봇과 대화를 시켰습니다. 그 결과, 참가자들이 형성한 가짜 기억의 수는 대조군보다 세 배나 많았습니다. 또 다른 실험에서는 참가자들이 AI의 도움을 받거나 받지 않은 상태에서 창의적인 아이디어를 생각해냈습니다. 일주일 후, 그들은 어떤 아이디어가 기계에서 나온 것이고, 어떤 아이디어가 자신이 직접 생각한 것이인지 구분하기 어려웠습니다.
다른 실험에 따르면, AI로 생성된 허위 정보는 존재하지 않는 것을 기억하게 만든다. 한 실험에서는 참가자의 거의 절반이 전혀 촬영되지 않은 영화의 리메이크 버전을 잘못 기억하는 것으로 나타났으며, 그 중에는 윌 스미스가 주연을 맡은 《마인드허브》도 포함된다. 또 다른 실험에서는 AI로 생성된 비디오를 통해 사람들이 전혀 일어나지 않은 정치적 스캔들을 기억한다고 믿게 되었다. 하지만 연구자들은 디지털 심화 조작 비디오가 허위 기억을 만드는 데 있어 순수 텍스트보다 안정적으로 우수하지 않다고 지적했다.
최신 연구 증거에 따르면, 이 문제는 연구자들이 예상했던 것보다 더 해결하기 어렵습니다.
기업과 정부 기관 모두 AI 도입에 열심히 노력하고 있습니다. 경찰은 AI를 이용해 법 집행 카메라 영상을 정리하고, 병원은 AI를 사용하여 의료 자료를 정렬합니다. 조지타운 대학교 대량 데이터 연구소의 보조 연구원인 마티아 시밈은 가장 일반적인 안전 대책은 인력이 기계의 오류를 점검하는 방식이라고 말했습니다.
하지만 이 방안의 전제는 인간이 기계를 독립적으로 검증할 수 있다는 것입니다. 시므의 연구에 따르면, 영향의 방향이 반대일 수도 있습니다. 즉, AI는 사람들이 AI의 오류를 확인하는 방식과 기억을 바꿔서, 인공적인 감독이라는 보장이 근본적으로 무력해질 수 있습니다.
최근 실시된 실험에서 시믹은 331명을 모집하여 사람을 치는 자동차의 짧은 애니메이션 영상을 보게 했다. 하루 이틀 후, 참가자들은 AI로 생성된 사고 요약문을 읽었다. 일부 사람들이 받은 요약문은 영상 속 교통 표지판을 정확하게 설명했지만, 다른 사람들이 받은 요약문은 AI가 잘못된 표지 정보를 제공했다.
정확한 요약을 받은 참가자 중 거의 84%가 식별자를 정확하게 기억할 수 있었으며, 오해의 소지가 있는 요약을 받은 참가자들의 정확도는 약 45%에 불과했습니다. 참가자에게 이 요약이 AI가 생성한 것이라고 미리 알려주더라도 그 영향을 피할 수는 없습니다.
“모두가 AI가 실수를 한다는 것을 알고 있어요,” 시밈이 말했지만, 연구에 따르면 “인간의 감독이 이 문제를 해결하는 좋은 방법이 아닐 수도 있습니다.”