IT之家 10월 20일 소식에 따르면, 마이크로소프트는 현지 시간 월요일에 여러 새로운 보안 기능을 출시했으며, 이는 기업들이 점점 더 심각해지는 인공지능으로부터 오는 보안 위협을 방어할 수 있도록 하기 위한 것입니다. 이 제품을 발표하는 동시에, 마이크로소프트는 기업들에게 인공지능과 인공지능 기계가 가진 다양한 위험에 대해 지속적으로 경고하고 있습니다.
IT之家에 따르면, 이번에 추가된 기능 중 가장 주목받는 것은 가디언 에이전트(Guardian Agents)입니다. 이 새로운 기능은 기업 내에서 사용되고 있는 다양한 AI 에이전트를 모니터링하는 데 사용됩니다. 가디언 에이전트는 인지 프로젝트(Project Perception)에 속하며, 인지 프로젝트는 마이크로소프트가 6월에 출시한 제품입니다.
인지 프로젝트는 마이크로소프트가 Anthropic의 Mythos, Fable 등 강력한 해커 모델과 OpenAI의 보안 취약점 스캔 시스템 Daybreak에 대해 제시한 대응 방안입니다. 인지 프로젝트는 처음에 세 종류의 지능형 에이전트를 출시했습니다: 공격을 수행하는 해커 역할을 하는 레드 팀 지능형 에이전트, 레드 팀의 공격을 탐지하고 취약점을 평가하는 블루 팀 지능형 에이전트, 그리고 취약점을 특별히 수정하는 그린 팀 지능형 에이전트입니다.
이 제품의 초기 설계 원칙은 AI 해커가 기업 외부에서 나올 것이라는 것이었습니다. 하지만 최근 마이크로소프트의 CEO 사티야 나델라가 경고한 바에 따르면, AI 측면의 위협원천은 기업 자체에서 배치하고 유료로 사용하는 스마트 에이전트일 가능성이 있으며, 이는 행동이 통제되지 않는 내부 직원과 같은 '내부 위협'입니다.
이달 초, 네드라는 개인 블로그에서 경고를 내놓았습니다. 즉, 자체적으로 자율적인 행동 능력을 가진 스마트체 제품에 보안 안전성 약속을 한 AI 모델 공급업체를 더 이상 신뢰하지 않는 때가 왔다고 합니다. 그는 기업들이 AI 연구소의 통제를 받지 않는 독립적인 시스템을 구축할 것을 제안했습니다. 이 시스템은 이러한 인공지능 연구소가 출시한 제품에 해당하는 스마트체를 감독하고 관리하는 역할을 할 것입니다.
그는 이렇게 썼습니다. “우리는 이러한 복잡한 지능형 시스템과 모델을 배치하고 있습니다. 이 시스템들은 우리의 가장 민감한 데이터에 접근할 수 있으며, 우리를 대신하여 중요한 비즈니스 작업을 수행할 수도 있습니다! 우리는 지능형 시스템이 우리를 대신하여 행동하는 책임을 외부에 위임해서는 안 됩니다. 모델 공급업체가 제공하는 보장은 우리의 이 책임을 면제해 주지 않습니다… 다시 말해, 우리는 지능 능력의 공급과 그에 대한 관리 권한을 분리해야 합니다.”
서버 스마트 아티스트에 대해 설명할 때, 마이크로소프트 보안 부문 책임자인 하예트 갈로트의 표현이 더 직설적이다.
그녀는 이렇게 썼습니다. “안타깝게도, 앞선 모델의 출처가 어디든 완전히 신뢰할 수는 없습니다.” 그녀는 또한, 이는 모델 자체에 악의가 있거나 해커에게 쉽게 공격당할 수 있다기보다는 그 행동이 예측 불가능하기 때문이라고 덧붙였습니다. 모델의 훈련 목표는 과제를 완수하는 것이며, “조직 규범이나 판단 기준”을 준수하는 것이 아닙니다.
그 외에도, 이러한 스마트 아체들은 높은 권한을 가지고 있으며 다양한 데이터와 도구에 접근할 수 있어, 통제를 잃으면 심각한 피해를 초래할 수 있습니다.
마이크로소프트가 제시한 이 솔루션은 예상치 못한 점도 있고, 자체적인 상업적 고려도 담겨 있습니다. 놀라운 점은 마이크로소프트가 OpenAI와 Anthropic과 긴밀한 관계를 맺고 있으며 두 기업에 투자하기도 한다는 것입니다. OpenAI는 마이크로소프트 클라우드 사업의 주요 고객이며, 마이크로소프트 자체도 AI 실험실을 운영하여 대규모 모델을 연구하고 있습니다. 즉, 마이크로소프트는 고객들이 자신의 상업적 파트너 제품에 대해 경계하도록 하고 있는 것입니다.
그리고 상업적 이익의 관점에서 볼 때, 마이크로소프트는 기업들이 Anthropic과 OpenAI를 통해 구매하는 대신 자신들의 클라우드 서비스 제공자로부터 스마트체인트 보안 제품을 구매하기를 원한다. 이해관계의 충돌을 제외하면, 이러한 논리는 타당하다: 스마트체인트 행동을 감시하는 소프트웨어는 스마트체인트 제공자와 독립되어야 하며, 이는 감사 기관이 감사 대상 조직과 독립해야 하는 것과 같다.
나델라가 말했듯이 “우리는 스마트 능력의 공급과 그에 대한 관리 권한을 분리해야 합니다.”
마이크로소프트는 다양한 방식으로 이 비즈니스 기회를 잡고 있습니다. 스마트 에이전트를 보호하는 것 외에도, 마이크로소프트 데펜더 제품에 스마트 에이전트 감지 기능을 추가하여 직원이 작업 환경에 가져온 최대 60종의 스마트 에이전트를 인식할 수 있게 했습니다. 여기에는 Claude Code, Codex 및 OpenClaw가 포함됩니다. 또한 제품에는 스마트 에이전트가 데이터와 시스템에 접근하는 권한을 제한하고, 작업에 따라 스마트 에이전트의 권한을 동적으로 조정할 수 있는 기능도 추가되었습니다. 스마트 에이전트가 고위험 작업을 수행할 예정인 경우, 시스템은 인적 승인을 요구합니다.
스마트 에이전트를 신뢰할 수 없는 내부 위협으로 보는 접근 방식이 전체 산업에서 점차 공감대를 형성하고 있다.
마이크로소프트는 엔비디아의 새로운 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)의 창립 멤버이며, 이 플랫폼은 100개 이상의 기술 기업의 지원을 받고 있습니다. 이 플랫폼은 에이전트를 안전한 환경에 격리하고 하드웨어를 통해 이상 행동을 감시 및 중단하여, 비상 차단 스위스와 유사한 기능을 제공합니다. 그 전에 마이크로소프트는 에이전트를 위해 특별히 제작된 새로운 Surface Laptop Ultra 노트북을 출시했으며, 이 기기는 엔비디아 칩을 탑재하고 에이전트 안전 관리 모듈이 내장되어 있습니다.