친구가 AI 에이전트에게 자신의 데이터를 넘기도록 내버려두는 친구는 없어야 합니다

소비자 기술 세계에는 커지는 추세가 있습니다. 가젯들이 주변의 모든 것과 모든 사람을 감시하도록 설계되어있고, 다른 사람이 실제로 동의했는지 여부는 상관없습니다. 이제 Meta의 Muse 같은 “AI 개인 비서”의 등장과 함께, 여러분은 자신의 데이터뿐 아니라 친구, 가족, 5년 전 Hinge 데이트 상대였던 사람의 정보 — 그리고 실제로 접촉한 적이 있는 거의 모든 사람의 정보까지도 후련하게 내놓으라는 요청을 받고 있습니다.

지난달 출시된 이후 Muse는 이미 수백만 번 다운로드되었고 Apple의 App Store에서 1위를 차지했습니다. 윙크하는 미소를 지닌 Temu 라부부 풍의 생물체라는 섬뜩한 가상 아바타의 도움으로, 이 앱은 사용자의 지시를 수행하는 데 도움이 될 수 있는 은행 계좌, 비밀번호, 연락처, 채팅 기록 등 그 어떤 것이든 접근 권한을 요청하고 부여하도록 유도합니다.

관련 기사

• 모든 것이 당신을 감시하고 있고 거부할 방법은 없습니다
• 프라이버시 법은 ‘럭셔리 감시’를 따라가지 못하고 있습니다
• AI 에이전트 제작자들은 프라이버시를 약속하고 있습니다 — 그 약속을 지킬 수 있을까요?

“이런 시스템은 요청하기 전에 먼저 당신이 필요로 하는 일을 해주는 자율적인 조수, 요정, 하인으로 광고됩니다. 매끄럽게 말이죠.” 인기 있는 암호화 메신저 앱 제작사인 Signal Foundation의 회장 Meredith Whittaker가 The Verge에 말했습니다. 이러한 자율적 행위는 “기기에 Muse를 설치한 사람에게만 적용되는 것이 아니라, 이메일, 메시지, 연락처, 사진 등 가장 사적인 정보로부터 추론된, 그 사람이 소통하는 모든 사람에게도 적용됩니다.”

AI 에이전트를 통해 기술 기업들은 대량 감시라는 잡식성 스타일을 막대한 양의 민감한 데이터로 확장하여 소비자가 일상 업무를 자동화하도록 하고 있습니다. 이는 실리콘밸리가 수십 년 동안 우리에게 제안해 온 바로 그 파우스트적 거래입니다. 조금의 편리함을 위해 여러분의 사적 데이터를 내놓는 것입니다. 그리고 많은 사람들에게 청구서 작성이나 이메일 발송 같은 단순 업무를 처리해 주는 가상 비서라는 생각은 매력적입니다. 특히 그 대가로 실제로 얼마나 많은 데이터를 내어주고 있는지 깨닫지 못한다면 더욱 그렇습니다.

“어떤 에이전트든 유용하고 실제로 사용자의 목표 달성을 돕기 위해서는 사용자와 그 사용자가 상호작용하는 사람들에 대한 맥락이 필요합니다.” Meta 대변인 Daniel Roberts가 Muse와 공유된 타인의 데이터와 관련해 The Verge 에 말했습니다. “Muse는 공개 정보와 사용자가 공유하기로 선택한 내용을 바탕으로 그 맥락을 수집합니다. 그래서 방금 청구서를 보낸 사람이 실제로는 이전에 화장실 작업을 위해 고용했던 배관공이라는 것을 기억하거나, 배우자가 가장 좋아한다고 말했던 꽃이 무엇인지 기억하는 것입니다.” Roberts는 Muse의 옵트인 절차 와 사람들이 “자신에게 맞는 프라이버시 선택을 하도록 돕는” 다양한 옵션과 설정을 언급했습니다.

“사용자 인터페이스의 설계 방식은 너무 늦기 전까지 가능한 한 많이 공유하도록, 종종 사용자가 인식하는 것보다 더 많이 공유하도록 유도합니다.”

하지만 모든 사람이 이러한 옵션과 설정을 제대로 다룰 수 있었던 것은 아닙니다. 이미 사용자들은 놀라우면서도 완전히 예측 가능했던 사건들을 이야기하고 있습니다. 일부 사용자는 자신이 접근 금지라고 믿었던 수백만 개의 문자 메시지를 가져가는 것과 같은 온갖 문제를 일으켰다고 가상 비서를 보고했습니다. Meta는 이 비서가 허가 없이 문자 메시지에 접근할 수 있다는 주장을 반박 하며, 다시 사건의 원인을 잘못 설정된 앱 권한으로 돌리고 Muse의 문자 메시지 읽기 기능을 “완전한 옵트인”이라고 설명했습니다. Threads에서 Meta 임원 David Singleton은 사용자에게 직접 답변하면서, Mac에서는 사용자가 앱에 전체 디스크 접근 권한을 부여한 경우에만 Muse가 메시지에 접근할 수 있다고 주장했습니다.

또 다른 사건에서는 Muse가 한 기술 리뷰어의 집 주소를 알려주고 낯선 사람을 그의 아파트로 불러들였습니다. 이 경우 해당 리뷰어는 Muse에게 그 데이터에 대한 접근 권한을 부여했지만, 단순히 그 사실을 인식하지 못했던 것입니다.

일렉트로닉 프런티어 재단(Electronic Frontier Foundation)의 사이버보안 책임자인 에바 갈페린은, Muse 같은 AI 에이전트가 사람들을 혼란스럽게 하여 최대한 많은 데이터를 넘기도록 설계되어 있다는 점을 고려하면 이러한 사건들은 놀라운 일이 아니라고 말했다.

관련 기사

• Meta의 Muse는 소름 끼치지만, 생각하는 이유와는 다를 수 있다
• Meta가 공격자가 AI 에이전트를 제어할 수 있게 했던 Muse 취약점 패치
• Meta가 AI 에이전트 경쟁에서 OpenAI를 앞서게 된 방법

“가장 중요한 교훈은 사람들이 자신이 어떤 종류의 데이터를 넘겨주는지 이해하지 못한다는 것입니다.”라고 갈페린은 The Verge에 말했다. “사용자 인터페이스의 구성 방식 자체가 최대한 많이, 종종 인식하는 것보다 많이 공유하도록 유도하도록 설계되어 있고, 때가 늦어서야 그 사실을 깨닫게 됩니다. 이것은 다크 패턴을 사용하는 것이며, 그 결과 Muse가 사람들이 원하지 않는 일을 하게 됩니다.”

Muse 같은 AI 에이전트가 방대한 양의 데이터를 수집하기 때문에, 사용자는 자신의 민감한 정보뿐만 아니라 디지털로 접촉한 다른 모든 사람들의 정보도 유출할 위험에 처해 있다.

그리고 Meta의 악명 높은 “pervert glasses” 때와 마찬가지로, 의미 있는 동의 거부 방법이 없다 — 데이터가 유출되거나 프라이버시가 침해되고 있다는 징후를 끊임없이 감시하더라도 말이다. 이제 당신의 친구들은 당신의 모든 사적인 대화를 자신의 가상 챗봇 하인에게 먹일 수 있고, 그런 일이 벌어졌는지 당신이 알 방법은 없다.

보안 연구원들이 Muse의 운영 지침을 추출한 후, 사용자의 삶에 있는 모든 사람에 대해 시간 단위로 프로필을 컴파일하고 업데이트하는 내부 프로세스를 발견했다. 이 모든 데이터를 수집하는 목표는 한 사람의 삶에 대한 친밀하고 상세한 초상을 구축하여 앱의 개인화된 추천의 기반으로 삼는 것이다. 이 앱은 “얼마나 가까운지, 그 관계가 무엇에 기반하는지, 서로 어떻게 행동하는지, 지금 무엇이 필요해 보이는지”를 포함하여 사용자의 모든 사적인 관계를 추적하고 측정하며, 그 데이터를 사용해 개인화된 제안을 한다고 Wired 가 보도했다.

“Meta는 Muse가 사용자가 공유하기로 선택한 것만 기억한다고 말합니다. 하지만 이 경우 사람들이 충분히 알고 내린 선택을 하고 있다는 생각은 우스워 보입니다.”라고 휘태커는 말했다. “이 시스템을 설치하는 대다수의 사람들이 사용의 결과나, 자신이 알고 소통하는 사람들에 대해 작성되고 있는 소름 끼치는 인물 파일을 이해하고 있다고 정색하고 가정할 방법은 없습니다.”

휘태커는 이것이 1990년대 이후 기술 기업들이 프라이버시 정책과 서비스 약관을 사용해온 방식, 즉 프라이버시의 책임을 소비자에게 전가하고 그 결과에 대한 책임은 회피하면서 자신들이 만드는 데 일조한 광고 모델의 이익은 챙기는 방식을 반영한다고 주장했다.

“이렇게 망가진 동의 시스템은 AI보다 훨씬 오래된 것으로, 감시 광고 산업의 기반이 됩니다.”라고 휘태커는 말했다. “사용자에 대한 더 많은 정보는 더 나은 광고 타겟팅을 가능하게 하며, 감시 비즈니스 모델의 핵심에 있는 유해한 피드백 루프가 작동하기 시작했습니다. 클릭랩(clickwrap) 방식의 서비스 약관이 의미 있는 동의를 대체한 지 이미 오래되었습니다.”

“핵심 아이디어는 이런 불가능한 부담을 일반 사람들에게 지우고, 그것을 가지고 법정이든 입법이든 공공 여론이든에서 사람들이 선택한 것이라고 주장하는 것입니다.”라고 워싱턴 대학교 코델 연구소의 프라이버시 법 교수이자 공동 소장인 닐 리처즈가 The Verge에 말했다. “우리는 이미 소비자들에게 너무나 많은 부담을 지우고 있습니다. 과로에 시달리고 생활비 위기를 직면했으며 도구 뒤에 있는 기술을 이해하지 못할 수도 있는 소비자들 말입니다. 그 기업의 경영진들 스스로가 의회에서 특정 수준에서는 자신들이 그 작동 방식조차 모른다고 고백했는데, 매우 복잡한 에이전틱 도구를 감시할 부담을 소비자에게 지우는 것은 공정하다고 생각하지 않습니다.”

“이 시스템을 설치하는 대다수의 사람들이 사용의 결과를 이해하고 있다고 정색하고 가정할 방법은 없습니다.”

이런 식으로 Muse 같은 AI 어시스턴트는 Gmail과 소셜 미디어 플랫폼의 등장 이래로 존재해온 고전적인 프라이버시 문제의 새로운 변형을 만들어내고 있다: 비록 당신이 AI 에이전트 사용을 피하더라도, 아는 사람이 당신의 사적인 대화, 주소, 개인 이력 및 기타 민감한 데이터를 Meta의 가상 어시스턴트나 경쟁사 제품에 공유하지 않으리라는 보장은 없다.

“제가 제 자료를 Gmail에 저장하지 않는다면, Google은 제가 보낸 모든 이메일의 평문을 갖고 있지 않습니다. 하지만 제가 보내는 이메일의 4분의 3은 Gmail 계정으로 보내지고 있습니다.”라고 갈페린은 설명했다. 다시 말해, 당신이 소통하는 사람 누구라도 데이터에 굶주린 기술 플랫폼을 사용하거나 보안 관행이 나쁘다면, 모든 사람의 통신을 노출시킬 수 있다. “문제 자체는 새롭지 않지만, 규모가 새롭습니다. 그리고 우리가 웨어러블과 상시 녹음으로의 이러한 전환을 보고 있는 한 가지 이유는, 이제 그 엄청난 양의 데이터를 합리적인 시간 안에 분석할 수 있는 컴퓨팅 능력을 갖추게 되었기 때문입니다. 그것이 우리를 이 끔찍한 순간으로 이끈 기술적 돌파구입니다.”

Meta는 Muse와 공유되는 모든 정보가 전용 가상 머신 내부의 텍스트 파일에 저장되며, 이를 통해 AI 모델이 다른 에이전트와 통신하는 것을 방지한다고 주장합니다. 그러나 회사는 다음과 같은 사실을 결코 숨기지 않았습니다. 이 데이터에 접근할 수 있습니다그리고 경쟁사들이 만든 다른 모델들과 마찬가지로, Muse는 가상의 우리를 탈출해 각종 무단 짓을 저지르는 모습이 발견되었습니다. Meta는 출시 직전에 이 AI 모델이 겉보리 균열 제3의 회사를 해킹했습니다. 이 사건은 악명 높은 Hugging Face 공격 올해 초의 사례로, OpenAI의 모델이 이전에 알려지지 않은 보안 취약점을 악용하여 다른 4개의 외부 서비스의 자격 증명에 무단으로 접근했습니다. Anthropic는 7월에 자사 모델이 또한 무단으로 접근했다 외부 시스템으로 세 차례에 걸쳐 전송되었습니다.

눈에 보이는 모든 것을 해킹하지 않는다 하더라도, 데이터를 대량으로 요구하는 AI 에이전트를 사용하는 것의 잠재적 위험은 개인 최종 사용자를 훨씬 넘어서 확장됩니다. Whittaker는 AI 에이전트가 개인 통신에 자유롭게 접근하고 활용할 수 있는 세상에서는 기업과 정부가 암호화를 깨뜨리지 않고도 우회함으로써 사실상 개인 데이터에 접근할 수 있는 능력을 얻게 된다고 경고했습니다. 이는 다음을 위한 재난이 될 수 있습니다. 활동가들과 지역사회 조직자들 경찰과 정부로부터 자신을 보호하기 위해 암호화 통신을 사용하는 사람들뿐만 아니라, 민감한 통신을 주고받는 모든 사람을 위한 것이기도 합니다. 요즘에는 사실상 모든 사람이 여기에 해당합니다.

“클릭랩(Clickwrap) 방식의 서비스 약관은 오래전부터 의미 있는 동의를 대체해 왔습니다.”

“소프트웨어가 기기에서 복호화된 후의 메시지를 읽어 클라우드 서비스로 전송하는 경우, 개발자가 통제하는 애플리케이션 수준에서는 암호화가 의도한 대로 정확하게 작동할 수 있습니다. 그러나 이러한 암호화의 목적은 결국 헤드라인에서는 편의성을 팔면서 약관의 세부 문구에서는 막대한 데이터 접근을 요구하는 Muse 같은 침입적인 서드파티 앱에 의해 무효화됩니다.”라고 Whittaker가 설명했습니다.

스마트 글래스 및 기타 웨어러블 앰비언트 녹음 기기의 경우와 마찬가지로, 전문가들은 해결책이 법적 개선, 기술적 안전장치, 그리고 구식이지만 여전히 유효한 수치심(공개적 비난)의 결합이어야 한다고 말합니다.

“우리는 그 수치심을 기업들에게 거슬러 올려 돌려야 한다고 생각합니다. 프라이버시는 기술적 지식이라는 특권이 있을 때만, 혹은 Meta 글래스를 쓴 무례한 사람을 파티에서 쫓아낸 후에만 행사할 수 있는 권리여서는 안 됩니다.”라고 Whittaker가 말했습니다. “법적으로, 그 부담은 동의 확인창을 클릭한 개인이 아니라 이러한 근본 시스템을 구축한 기업들로 옮겨져야 합니다.”

그동안 소비자들은 이 기술을 사용하겠다는 개인의 선택이 자신과 타인에게 미치는 영향이 무엇인지, 그리고 이 기업들이 제공하는 편의성이 과연 그만한 가치가 있는지를 더 신중하게 고려해야 할 것입니다.

“우리는 에이전트형 에이전트와 일반적으로 AI를 엄격책임이 적용되는 극도로 위험한 제품으로 취급해야 한다고 생각합니다.”라고 Richards가 말했습니다. “내 생각에 전체 인구를 대상으로 하는 무모한 프라이버시, 정신 건강, 사이버 보안 및 금융 리스크 실험에 동참할 이유는 없습니다.”