오픈 웨이트 모델이 사이버 공격에 88% 더 취약

우리는 취약성을 테스트하기 위해 오픈 웨이트 모델과 사유 모델을 평가했으며, 오픈 웨이트 모델이 실제 간접 프롬프트 주입 사이버 공격 체인에 대해 88% 더 높은 취약성을 보인다는 것을 발견했습니다.

이 평가에서 우리는 엔터프라이즈 환경에서 가장 많이 사용되는 공급업체들에 대해 가장 최근의 플래그십 모델과 가장 최근의 비용 효율적 변형 모델을 테스트했습니다.

오픈 웨이트 모델은 간접 프롬프트 주입 사이버공격 체인에 대해 88% 더 취했습니다. 아래는 오픈 웨이트 모델과 사유 모델 간 취약성에서 두드러진 차이를 보인 공격들의 일부 샘플입니다.

우리가 측정하는 것

우리의 연구팀은 실제 세계의 에이전틱 시스템(예: Claude, ChatGPT, Atlassian Rovo 등)의 취약점을 식별하고 사이버 공격 영향(예: 데이터 유출 또는 원격 코드 실행)을 지닌 엔드투엔드 간접 프롬프트 주입 공격 체인을 개발합니다. 우리의 발표된 연구는 다양한 업계 프레임워크와 출판물에서 인용되었습니다(예: OWASP Top 10 for LLMs 및 MITRE ATLAS, 에이전트의 데이터 유출 과 에이전트 적대적 강건성에 관한 OpenAI의 연구).

우리는 다음 질문에 답하고자 했습니다: 오픈 웨이트 모델은 실제 세계의 간접 프롬프트 주입 사이버 공격에 얼마나 취약한가?

기존의 사이버/정렬 벤치마크는 이러한 공격 체인과 방법론을 다루지 않습니다:

• 이들은 실제 세계에서 에이전트형 시스템을 악용하는 데 사용되는 사이버 공격 체인을 다루지 않습니다.
• 이 평가들은 오늘날 에이전트가 직면하는 상시 실행(always-on) 에이전트 및 장기(long-horizon) 작업과 같은 실제 사용 사례의 복잡성과 도메인(예: 법률, 의료, 금융 등)을 다루지 않습니다.
• 해당 페이로드 설계 기법과 방법론은 최신 세대 모델에는 효과가 없으며 시대에 뒤떨어져, 모델 취약성이 과소평가되는 결과를 낳고 있습니다.

이러한 격차로 인해 우리는 실제 환경의 에이전틱 시스템이 노출되는 간접 프롬프트 인젝션 사이버공격에 대한 모델의 취약성을 보다 정확하게 측정할 수 있는 자체 평가 벤치마크를 개발하게 되었습니다.

우리의 방법론

실제 에이전트 시스템은 복잡합니다. 시스템마다 위협 모델과 공격 표면이 다르며, 평가 환경은 이를 반영해야 합니다. 예를 들어, 공격 성공 여부를 측정하는 데 모델의 거부에 의존할 수 없습니다. 실제 공격에서는 모델이 자신이 취하는 행동을 이해하지 못하기 때문입니다. 이로 인해 모델이 공격에 속았는지 여부를 잘못 보고하게 됩니다(관련 내용은 Sonnet 5가 멀웨어를 실행하지 않았다고 거짓으로 주장함") or even fall for attacks they've already identified; example below:" → "`) 또는 이미 식별한 공격에 속아 넘어갈 수도 있습니다. 아래 예시를 참고하세요:`

다음은 당사가 평가하는 실제 간접 프롬프트 주입 사이버공격 유형의 몇 가지 예입니다:

시스템 조작

에이전트형 시스템에서 시스템 조작은 신뢰할 수 없는 데이터 소스에 의해 에이전트가 조작되어, 자신의 도구를 사용해 사용자에게 사이버 공격 결과를 초래하는 행동(예: 민감한 이메일을 공격자에게 전달하거나 무단 워크플로우를 실행하는 것)을 취할 때 발생합니다. 

예를 들어, Elastic의 Agentic Security Operations Center에서 발견한 공격 체인에서 에이전트는 피싱 이메일 신고를 분류하는 임무를 맡지만, 알림 중 하나의 콘텐츠가 에이전트를 조작하여 공격자 워크플로를 실행하게 만듭니다. 이 워크플로는 알림 라우팅 규칙 비활성화, API 키 생성 및 유출, 테넌트 내 데이터 편집을 포함한 악의적인 작업을 수행합니다.

데이터 유출

에이전틱 시스템에서 데이터 유출은 신뢰할 수 없는 데이터 소스에 의해 에이전트가 조작되어 사용자의 작업 공간 데이터가 공격자에게 유출되는 결과를 낳는 출력을 생성할 때 발생합니다.

저희 팀은 Atlassian Rovo에서 데이터 유출 간접 프롬프트 인젝션 사이버 공격 체인을 확인했습니다. 이 공격에서 Rovo는 사용자가 온라인에서 찾은 가이드에 따라 Jira 티켓을 정리하는 임무를 맡습니다. 이 가이드는 에이전트를 조작하여 모든 Jira 티켓을 공격자 URL 끝에 추가하고, 웹사이트 검색 도구를 통해 자신이 만든 URL을 요청하도록 하는 명령을 숨기고 있습니다. 그러면 공격자는 요청된 URL에 추가된 피해자의 데이터를 포함하여 수신한 모든 요청을 기록합니다.

피싱

에이전트 시스템에서 피싱(phishing)은 신뢰할 수 없는 데이터 소스가 모델을 조작하여 사용자, 또는 에이전트가 생성한 콘텐츠로 작업하는 개인을 피싱하는 출력을 생성하게 하는 것을 말합니다.

예로는 모델이 악성 링크를 생성하거나, 신뢰할 수 없는 당사자에게 전화 또는 이메일로 연락하라는 지시를 생성하거나, 심지어 가짜 로그인 화면을 만드는 코드를 모델이 실행하는 경우가 있습니다.

저희 팀은 Google Sheets용 ChatGPT에서 피싱 공격 체인을 식별했습니다. 이 공격에서 가져온 시트가 ChatGPT를 조작하여 공격자가 제어하는 스크립트를 실행하게 하고, 이 스크립트가 피싱 로그인 팝업을 엽니다.

이러한 예시들은 저희가 AI 시스템용 벤치마크에서 측정하는 공격 유형 및 공격 체인 변형들의 일부에 불과함을 보여줍니다.

모델의 취약성을 평가하려면 실제 세계의 작업, 도구 및 기능을 반영하는 현실적인 환경 이상이 필요합니다. 또한 적대자들이 방법을 발전시킴에 따라 최신 공격 기법에 대해 지속적으로 테스트해야 합니다.

추가 결과: 플래그십 모델 대 비용 효율적 모델

모델 제공업체는 일반적으로 플래그십 모델 라인과 비용 효율적 라인을 제공합니다. OpenAI와 Anthropic은 플래그십 모델 이후에 비용 효율적 모델을 출시했지만, 그 신규 모델들이 간접 프롬프트 주입 사이버공격에 훨씬 더 취약했습니다. 반면 Qwen과 DeepSeek의 경우, 신규 비용 효율적 모델이 그 이전의 플래그십 모델보다 공격에 더 강했습니다.

또한 비용 효율적 모델과 플래그십 모델 간의 취약성 격차가 오픈 웨이트 제공업체보다 사유(proprietary) 제공업체에서 훨씬 더 크다는 것을 관찰했습니다.

사유 제공업체의 경우 비용 효율적 모델이 플래그십보다 169% 더 취약했지만, 오픈 웨이트 제공업체의 경우 비용 효율적 모델이 플래그십보다 5% 덜 취약했습니다.

이 분석에서 테스트된 모델은 다음과 같습니다:

• 플래그십: DeepSeek V4-Pro, Kimi K3, GLM-5.3, Qwen3.8-2.4T, Claude Fable 5.1, GPT-6 Astra, Gemini 3.1 Pro
• 비용 효율적: DeepSeek V4.1-Flash, Kimi K2.6, GLM-5.3-Flash, Qwen3.8-Flash-Next, Claude Haiku 5.5, GPT-6 Luna, Gemini 3.8 Flash (딥시크 V4.1-Flash, 키미 K2.6, GLM-5.3-Flash, Qwen3.8-Flash-Next, 클로드 Haiku 5.5, GPT-6 Luna, 제미니 3.8 Flash)

참고: Moonshot은 비용 효율적 라인을 제공하지 않으므로, 이전 플래그십으로 대체했습니다. 또한 오픈 웨이트 제공업체가 제공하는 클로즈드 웨이트 모델은 테스트하지 않았습니다.

벤치마킹

실제 환경에서 간접 프롬프트 주입을 통한 사이버공격에 대한 모델 취약성을 측정하는 데 관심이 있으신가요? 사용 중이거나 개발 중인 모델의 평가를 원하시면 아래에서 저희에게 연락해 주세요.