마이크로소프트는 월요일에 AI 에이전트의 증가하는 위협으로부터 기업을 보호하기 위한 새로운 보안 기능을 도입했다. 이 출시는 마이크로소프트가 AI와 에이전트의 위험에 대해 기업들에게 계속 경고하고 있다는 상황에서 이루어졌다.
아마도 가장 주목할 만한 추가 기능은 Guardian Agents입니다. 이는 회사가 사용하는 AI 에이전트를 모니터링하기 위한 새로운 기능입니다. Guardian Agents는 6월에 출시된 제품인 Project Perception의 일부입니다.
Project Perception는 Anthropic의 Mythos와 Fable과 OpenAI의 보안 취약점 스캔 시스템 Daybreak과 같은 강력한 해킹 모델에 대한 마이크로소프트의 대응책이었습니다. Project Perception는 원래 세 가지 종류의 에이전트를 출시했습니다: 해커처럼 행동하여 공격을 수행하는 “레드 팀”, 레드 팀의 활동을 감지하고 발견된 취약점을 평가하는 “블루 팀”, 그리고 그 취약점을 수정하는 임무를 맡은 “그린 팀”입니다.
이 제품은 AI 해커들이 회사 외부에서 올 것이라는 가정에 기반하여 설계되었습니다. 하지만 최근 마이크로소프트의 CEO 사티아 나델라는 AI의 적이 기업이 배치하고 비용을 지불하는 에이전트일 수 있다고 경고했습니다. 이는 “내부자 위협”으로도 알려진 도둑 같은 인적 요소와 같습니다.
이달 초, 그의 개인 블로그에서 나델라는 AI 모델 제공업체를 신뢰하는 것을 중단해야 할 때라고 경고했습니다. 설령 그들이 에이전트 제품으로 안전과 보안을 보장한다 하더라도 말입니다. 그는 기업들이 AI 연구소가 관리하지 않는 별도의 시스템을 구축하여, 해당 AI 연구소 제품이 배포하는 에이전트를 감시하고 통제하기를 원합니다.
“우리는 가장 민감한 데이터에 접근할 수 있는 이 복잡한 에이전트 시스템과 모델들을 배포하고, 그들에게 우리를 대신하여 임무와 관련된 핵심적인 조치를 취할 수 있는 능력을 부여하고 있습니다!”라고 그는 썼습니다. “우리는 우리를 대신하여 정보가 어떻게 활용되는지에 대한 책임을 외부에 위탁할 수 없습니다. 모델 제공자의 보장도 그 책임에서 우리를 면제하지 않습니다. … 다시 말해, 우리는 정보의 공급과 그에 대한 권한을 분리해야 합니다.”
마이크로소프트의 보안 사업 책임자인 하예테 갈로트는 ‘가디언 에이젼스’를 발표할 때 더욱 직접적으로 말했습니다.
“안타깝게도, 출처와 관계없이 프론티어 모델들은 신뢰할 수 없다”고 그녀는 썼으며, 이는 그 모델들이 악의적이거나 쉽게 해킹될 수 있는 것이 아니라 예측 불가능하기 때문이라고 덧붙였다. 이 모델들은 특정 작업을 수행하도록 훈련되었으며, “조직적 규범이나 판단”을 따르는 것이 아니다.
게다가, 그들은 종종 왕국의 열쇠를 받게 되는데, 이로 인해 심각한 피해를 줄 수 있는 데이터와 도구에 접근할 수 있게 됩니다.
마이크로소프트의 해결책은 놀랍기도 하고 자신을 위한 것도 있다. 놀라운 점은 마이크로소프트가 OpenAI와 Anthropic과 매우 가까운 관계에 있으며, 두 회사에 투자했다는 것이다. OpenAI는 또한 마이크로소프트의 가장 큰 클라우드 고객 중 하나이며, 마이크로소프트 자신도 AI 실험실을 운영하여 모델을 개발하고 있다. 따라서 마이크로소프트는 자사의 사업 이익에 대한 불신을 조성하고 있는 것이다.
자기 이익을 추구하는 측면에서 마이크로소프트는 기업들이 애드온 보안 제품을 자신, 즉 클라우드 제공업체에서 구매하도록 하고 싶어 하며, Anthropic과 OpenAI에서는 원하지 않습니다. 하지만 상충하는 이익 관점을 제외하면 그 논리는 타당합니다. 애드온의 행동을 감시하는 소프트웨어는 애드온 공급업체와는 별개여야 하며, 감사관도 감사 대상 조직과 독립적이어야 합니다.
또는 나델라가 말했듯이: “우리는 정보의 제공과 그에 대한 권한을 분리해야 합니다.”
Microsoft는 이제 다양한 방식으로 그 비즈니스 기회를 활용하고 있습니다. Guardian Agents 외에도, Microsoft Defender 제품에 에이전트 탐지 기능을 추가했습니다. 이 기능을 통해 직원들이 작업 현장에 가져오는 Claude Code, Codex, OpenClaw를 포함한 최대 60종류의 에이전트를 찾아낼 수 있습니다. 또한 에이전트가 데이터와 시스템에 접근하는 것을 제한하는 기능과, 작업에 따라 에이전트의 권한을 동적으로 조정하는 기능도 추가되었습니다. 엔티티가 위험한 결정을 내리는 것으로 보일 경우 인간의 승인을 요구하는 것도 포함됩니다.
이러한 에이전트가 신뢰할 수 없는 내부자라는 개념은 더 넓은 산업 전반에서도 확산되고 있습니다.
Microsoft는 Nvidia의 새로운 Open Agent Safety Platform의 첫 번째 회원이었으며, 이 플랫폼은 100개 이상의 다른 기술 회사들의 지원을 받았습니다. 이 플랫폼은 에이전트를 안전한 환경에 격리하고 하드웨어를 통해 행동을 감시 및 중단할 수 있으며, 마치 킬 스위치와 같은 역할을 합니다. 이는 Microsoft가 에이전트를 위해 제작된 Surface Laptop Ultra PC를 발표한 것에 따른 것입니다. 이 PC들은 Nvidia 칩을 사용하며 에이전트 보안 및 제어 기능이 내장되어 있습니다.