우리는 점점 더 일반적이고 자율 에이전트로 구성된 컴퓨팅 환경으로 빠르게 전환하고 있습니다. 동적으로 계획을 생성하고 외부 도구를 호출할 수 있는 대규모 언어 모델(LLM)에 의해 추진되는 이러한 시스템은 AI가 우리를 대신하여 복잡하고 다단계의 작업을 원활하게 처리할 수 있는 가능성을 제공합니다. 하지만 이 가능성을 실현하려면 중요한 과제를 해결해야 합니다: 에이전트의 기능을 지원하면서도 에이전트가 적절하게 행동하도록 보장하는 것입니다.
오늘 우리는 포괄적인 새로운 워크숍 보고서를 공유합니다: "에이전트형 개인정보 보호 및 보안의 개방적이고 발생하는 문제: 맥락적 관점". 이 보고서는 수많은 기관에서 온 50명 이상의 학술 및 산업 리더들이 협력하여 만들어졌습니다. 우리는 2025년 말 뉴욕시에서 열린 구글 컨텍스트ual 에이전트 개인정보 보호 및 보안 워크숍에 모였습니다. 이 보고서에서는 자율적 에이전트가 오늘날 직면하는 기반적인 개인정보 보호 및 보안 문제들을 분석하며, 시스템, 모델, 사용자, 생태계 수준에서 조율된 방어가 필요함을 다루고 있습니다.
에이전트적 타협
에이전트형 AI의 핵심 과제는, 에이전트가 유용하게 작동하려면 개인 데이터에 접근할 필요가 있을 수 있다는 점입니다. 그리고 다양한 환경에서 중요한 행동을 수행할 수 있는 능력. 그러나 이러한 접근 방식과 에이전트의 행동적 유연성은 전통적인 소프트웨어에서 사용되는 방법과는 의미적으로 다른 접근법을 요구한다. 전통적인 결정론적 소프트웨어와 달리, 에이전트는 연구 커뮤니티가 함께 해결해야 하는 과제를 초래하는 세 가지 중요한 차이점을 가지고 있다.
- 구조화되지 않은 인터페이스와 입력의 모호성: 에이전트는 자연어나 이미지와 같은 형식으로 지시를 처리하므로, “예상되는 동작”을 정의하거나 프롬프트 인젝션과 같은 적대적 조작으로부터 보호하는 것이 어렵다.
- 확률적 제어 흐름: 생성적 계획은 전통적인 테스트 방법론으로는 쉽게 보장할 수 없는 확률적 실행 경로를 가져옵니다.
- 자율성과 위임: 에이전트들이 더 긴 작업을 처리하고 하위 작업을 다른 에이전트에게 위임할 때, 전통적인 사용자 감독은 효과가 낮아지고 부족할 가능성이 높아져 “확인 피로”의 위험이 생깁니다.
에이전트형 AI의 개인정보 보호 및 보안 과제.
컨텍스트 렌즈
유용한 에이전트들이 데이터를 공유하고 작업을 완료해야 할 수 있다는 점을 고려할 때, 신뢰할 수 있는 에이전트의 미래는 그들이 작동하는 특정 상황에서 사회적 규범과 행동의 적절성에 대해 추론하고 이해하며 제약을 받는 능력에 달려 있다고 우리는 믿습니다.
하지만 어떻게 에이전트에게 “맥락”과 적절성을 이해하도록 가르칠 수 있을까? 우리의 보고서는 맥락적 완전성(CI) 이론에 기반을 두고 있습니다. 이 이론은 개인정보를 단순한 비밀 또는 통제로 보는 것이 아니라, 확립된 그리고 정당한 사회적 규범에 따라 이루어지는 “적절한 정보 흐름”으로 정의합니다. 맥락별 정보 규범은 그 행위자(누가 누구에 대한 정보를 전달하고 받는지), 정보 유형(의료나 재정 기록과 같은 특정 정보 범주), 그리고 전송 원칙(기밀성이나 상호성과 같은 흐름을 규제하는 규칙)에 의해 정의됩니다. 예를 들어, 여러분은 가상 쇼핑 어시스턴트와 선물 쇼핑 목록을 공유할 수 있지만, 가족과 친구들에게는 그렇지 않을 수 있습니다. 우리의 보고서는 정보 공유에 대한 맥락적 완전성을 맥락적 보안으로 확장하고 일반화합니다. 즉, 에이전트의 행동의 적절성을 말하는 것입니다. 에이전트의 개인정보와 보안을 CI에 의존함으로써, 우리는 어떤 행동이 사회적으로나 맥락적으로 적절한지를 평가하는 시스템을 설계할 수 있는 방법을 탐구합니다.
다른 사용자, 도구, 에이전트와 여러 맥락에서 상호작용하는 일반적인 AI 에이전트의 모델.
콘텐츠의 무결성을 운영적 수준으로 구현하기
콘텐츠 정합성 이론이 개발된 이후 처음으로, LLM은 진정으로 컨텍스트에 의존하는 기계가 읽을 수 있는 정책을 만들 수 있는 기회를 제공합니다. 역사적으로 고급 수준의 컨텍스트 규범과 저급 수준의 시스템 권한 사이에는 의미론적 격차가 있었습니다. 예를 들어 “컨퍼런스 여행을 준비하는 동안 데이터를 보호하려면”은 항공편 예약, 비자 신청, 주최자와의 소통 시 어떤 사용자 정보를 공유하는 것이 적절한지에 대한 구체적인 지침이 필요합니다.
수동적인 권한 부여나 전문가가 작성한 정책과 같은 전통적인 방법은 AI 에이전트가 자율적으로 여러 복잡하고 장기간 지속되는 작업을 수행하는 미래에는 적용되지 않을 것입니다. 언어 모델이 CI를 이해하기 시작함에 따라, 이러한 격차는 극복될 수 있다고 우리는 주장합니다. 우리의 보고서는 모델과 사용자 간의 상호작용을 보완하는 맥락적 정책 엔진을 도입하여, 행동의 적절성을 감시하고 강제하는 감독자 계층의 일부로서 정책을 조정할 것을 권장합니다. 이 정책 엔진에는 실시간으로 작동할 수 있는 동적 정책 생성 루프가 포함되어 있으며, 사용자의 요청과 개방형, 동적인 맥락에 맞게 정책을 조정할 수 있습니다. 또한 런타임에 발견될 새로운 도구와 기능도 포함됩니다. 이를 통해 시스템은 정보가 사용자 작업 공간을 떠나기 전에 요청된 데이터 흐름이 적절한지 평가할 수 있습니다.
컨텍스트 기반 정책 엔진 아키텍처가 에이전트 시스템 내에서 어떻게 구현될 수 있는지를 보여주는 예시입니다.
에이전트형 개인정보 및 보안에 대한 다층적 접근 방식
모델 및 사용자 수준에서 필요한 발전과 함께 맥락 기반 정책 엔진을 향해 함께 노력하는 다층적 접근 방식을 취하고 있습니다. 우리의 보고서는 전체 스택 전반에 걸친 혁신 기회를 제시합니다.
- 시스템 수준의 샌드박스화: 실행 환경은 에이전트나 모델의 오류가 미치는 영향을 제한하고 감지 및 대응을 용이하게 하기 위해 추가적인 보호 장치를 제공할 수 있다. 전통적인 운영 체제는 파일이나 네트워크에 대한 접근 권한을 정적으로 제한하여 샌드박스 애플리케이션을 구현한다. 에이전트의 경우, 에이전트의 기능을 동적으로 제한하고 에이전트의 신원을 설정하며, 컨텍스트의 변화에 따라 데이터에 대한 접근 권한을 승인하거나 취소하는 방식을 탐구한다.
- 모델 수준의 추론: 복잡한 작업을 수행하는 에이전트는 사용자 데이터를 공유하는 것과 같은 행동의 적절성을 판단해야 합니다. 향후 연구는 모델들이 불명확한 사용자 프롬프트를 구분하고 변화하는 맥락 규범 하에서 적절성을 판단할 수 있도록 해야 합니다.
- 사용자 중심형 제어: 전통적인 “알림 및 선택” 프레임워크는 개인이 개인 데이터에 영향을 미치는 행동에 대해 세부적인 결정을 내릴 수 있다고 가정하며, 예측 가능성이라는 가정에 의존합니다. 그러나 자율 에이전트의 행동은 본질적으로 확률적이고 대량이며 생성적입니다. 우리는 사용자 정신 모델과 일치하는 동적이고 맥락적이며 개인화된 제어 메커니즘으로 인터페이스를 전환하는 방식을 탐구합니다.
- 다중 에이전트 상호작용: AI 에이전트들이 복잡한 작업에서 안전하게 협력할 수 있도록 하기 위해, 에이전트들이 결탁하거나 맥락적 규범을 위반하는 것을 방지할 수 있는 효과적인 제어 장치를 개발해야 합니다.
- 생태계 거버넌스: 우리는 거버넌스 메커니즘의 과제를 탐구하여, 에이전트들 사이에 공유되는 맥락적 규범들을 도출합니다. 또한, 규범은 다양한 영역과 주체들마다 다를 수 있으므로, 갈등을 해결하고 규범 변화를 협상하며 준수 여부를 확인할 수 있는 메커니즘이 필요합니다.
동적으로 개인정보 보호 및 보안을 측정하기
마지막으로, 고도로 자율적인 다중 에이전트 시스템에 더 직접적으로 적용할 수 있는 안전 평가 방법을 개발하는 것을 제안합니다. 우리 보고서에서는 표준화된 다중 에이전트 벤치마크의 필요성을 강조합니다. 이는 연구자들이 장기간에 걸쳐 복잡하고 연쇄적인 상호작용을 안전하게 시뮬레이션할 수 있는 동적 “에이전트 짐” 환경입니다. 이러한 오픈소스 샌드박스를 통해, 학계와 산업계 전반에서 견고하고 공유 가능한 개인정보 보호, 보안 및 안전 기준을 마련할 수 있습니다.
행동 요청
이것은 야심찬 프로젝트이지만, 안전하고 보안이 잘 되며 신뢰할 수 있는 에이전트 생태계를 구축하는 것은 어떤 단일 학문, 조직 또는 산업 부문에게도 너무 큰 과제입니다. 새로운 아이디어와 전례 없는 협력을 요청하는 이 보고서는 기반이 되는 기회들을 제시합니다. 이는 학계, 정부, 시민사회, 산업 분야를 포함한 연구 커뮤니티에 안전하고 보안이 잘 되며 개인정보 보호를 존중하는 생태계를 구축하기 위해 필요한 맥락적 기반을 개발하라는 행동 요청입니다. 우리는 기술 보고서를 읽어보시길 권합니다.
감사의 말
공동 주저자로서의 역할과 워크숍 조정, 보고서 작성, 블로그 글 작성을 맡은 리리안 타이에게 감사드립니다. 카셈 파와즈, 스테판 멜렘, 헬렌 니센바움, 니나 타프는 개념화, 여러 섹션의 글쓰기 작업에 기여하고 글쓰기 과정을 지도했습니다. 세바스티안 벤탈, 마디하 자라 호크시, 셀리엠 엘-사이드, 페르디난도 피오레토, 아드리아 가스콘, 아시시 후다, 이반 페트로프, 프란체스코 핀토, 옥타비안 수치우, 트리시타 티와리, 해롤드 트리드먼, 렌 이, 웬 장은 각 섹션의 리더로 활동했습니다. 보고서를 공동 저술하거나 워크숍 논의에 참여한 50명 이상의 연구자, 학술 파트너, 산업 리더들의 기여에 감사드립니다. 이 연구는 다니엘 래마지, 코리나 코르테스, 요시 마티아스, 푸슈미트 코흘리, 행크 레비, 랄루카 아다 포파, 아만다 워커, 브렌던 맥매한, 제임스 마니카의 지원을 받았습니다.