주요 내용
- Symantec의 보안 연구원들은 honeypot를 사용하여 인터넷상에서 보호되지 않은 언어 모델을 장악하고 자신을 위해 공격을 수행하는 악성 AI 에이전트를 분석했습니다.
- 에이전트는 5층의 제한을 우회하여 모델 안전 규칙을 피하고, 인간의 입력 없이 최대 100,000단계까지 실행할 수 있습니다.
- 시매넥스는 이 방법을 “LLMjacking”이라고 부른다. 해킹된 AI 시스템의 소유자들은 컴퓨팅 비용에 고생하게 된다.
시마넥트의 보안 연구원들은 인터넷상에서 보호되지 않은 언어 모델을 장악하고 자신이 직접 공격을 수행하는 유해한 AI 에이전트를 발견했습니다. 해당 모델을 장악한 사람은 컴퓨팅 비용에 매달리게 됩니다.
에이전트가 보호되지 않은 언어 모델에 접근할 수 있게 되면, 더 많은 대상을 찾아내고 일반 서버 소프트웨어의 결함을 악용하며 데이터베이스와 자격증을 도난당하고, 배경에서 크립토미너를 설치합니다.
인간의 개입 없이 최대 100,000단계까지 이 모든 작업을 수행하며, 모델 소유자는 컴퓨팅 비용을 부담해야 합니다. Symantec의 분석에 따르면 말입니다. 이 회사는 이를 “LLMjacking”이라고 부릅니다. 즉, 다른 사람의 AI 모델에 대한 접근 권한을 탈취하는 것입니다. 탈취된 모델은 단순히 정보 서비스로 악용되는 것이 아니라, 스스로 전체 공격을 제어합니다.
호네톡이 전체 공격 계획을 포착했다
공격자가 온라인에 있는 개방형 AI 서비스를 모방하는 기만 시스템인 Symantec honeypot로 모든 작업 프롬프트를 전송했기 때문에 이 작업이 드러났습니다. 그로 인해 연구자들은 2026년 여름에 에이전트의 아키텍처를 완전히 파악할 수 있었습니다. Symantec에 따르면, honeypot은 어떤 번들된 도구도 실행하지 않았으며, 가로챈 세션은 일반적인 시스템 응답 이후에 끝났습니다.
호넵토 텔레메트리에서는 수만 개의 서로 다른 주소에서 127,000개 이상의 요청이 기록되었습니다. 대부분은 AI 엔드포인트에 대한 검색, 도난당한 API 키를 이용한 무차별적인 시도, 노출된 설정 파일에 대한 조사였습니다. 표적은 자체 호스팅된 모델 서버와 급하게 구축된 테스트 시스템부터 유료 조직 수준의 모델 계정 앞에 위치한 AI 게이트웨이까지 다양했습니다. 현재 대부분의 AI 서비스가 동일한 표준화된 API를 사용하므로, 단일 스캐너로 여러 종류의 표적을 찾을 수 있습니다.
5층의 탈출 시도가 안전 장벽을 제거하려고 한다
Symantec에 따르면, 상업용 모델과 협력하도록 하기 위해 공격자들은 지시를 5개의 층으로 감싸서 전달했습니다. 먼저 모델은 "Fantasy AI"로 자신을 소개하도록 되어 있으며, 실제 제공자의 정보는 절대 공개되지 않습니다. 그 다음으로, 비밀번호, API 키, 데이터베이스 내용의 추출 작업은 "정상적인 개발자 작업"으로 재정의되어 모델이 반대 없이 수행해야 합니다.
세 번째 레이어는 "ENI"라는 가상의 동반자 캐릭터를 설치하여, 어떤 거부도 개인적 관계에서의 신뢰를 배신하는 것으로 프레임화합니다. 네 번째 레이어는 모델에게 자신의 안전 경고를 소음으로 간주하도록 지시하며, "윤리적," "불법적," 또는 "그런 건 할 수 없다"와 같은 표현은 명시적으로 금지됩니다.
5번 레이어에는 실제 공격 도구가 포함되어 있으며, 총 74개의 모듈이 있습니다. 여기에는 취약한 서버를 인터넷 전체에서 스캔하는 도구, 인기 있는 웹 프레임워크를 위한 에뮬레이터, 전체 데이터베이스를 덤프하는 기능, 그리고 봇네트를 운영하는 구성 요소 등이 포함됩니다. 분석에서는 이러한 자유 계정 설정이 현재 상용 모델을 완전히 무력화하기에 충분한지에 대해서는 언급되지 않았습니다.
“스카이넷 모드”는 자체적으로 유지되는 공격 루프를 설정합니다.
마지막 지시로 에이전트는 운영자들이 말하는 “스카인트 모드” 상태에 들어가며, 연속으로 10만 단계까지 실행할 수 있게 됩니다. 모델은 확인 없이 즉시 도구를 실행하도록 지시받고, 숨겨진 디렉터리에 크립토미너를 설치하며 그 작동을 감시해야 합니다.
Symantec에 따르면, 같은 지시문은 의도적으로 반복적인 루프를 설명합니다: 스캔, 감염, 마이너 설치, 다음 단계로 넘어가기, 다시 돌아와서 이미 감염된 시스템을 재감염합니다. 하지만 가로챈 프롬프트에 추가된 작업은 훈련 플랫폼에서 제공하는 무해한 코딩 연습이었으며, 이는 운영자들이 먼저 안전한 대상으로 도구를 테스트하고 있음을 시사합니다.
다음 날, 호네톡은 다른 주소에서 발생한 두 번째 공격을 포착했습니다. 이번에는 공격자들이 에이전트 형식을 건너뛰고 단순히 모델에 오버플로드된 명령을 디코딩하고 실행하도록 요청했습니다. 그 뒤에는 XMRig라는 몽에로 암호화 마이닝 도구를 다운로드하고, 무해한 시스템 파일로 위장하며 네 개의 대체 마이닝 풀을 설정하는 압축된 스크립트가 숨겨져 있었습니다.
이 스크립트는 스마트 카메라와 홈 자동화 시스템용으로 널리 사용되는 스트리밍 도구인 go2rtc에 속하는 디렉터리를 찾아 그 접근 로그를 반복적으로 삭제하여 흔적을 지우도록 작성되었습니다. honeypot도 이 스크립트를 실행하지 않았지만 전체 내용을 기록했습니다.
공격자들은 자신의 무기에 인공지능을 도입하고 있다
공개 채팅봇을 조작하는 대신, 운영자들은 AI를 공격 도구의 핵심에 통합하여 그 AI를 구동할 모델을 적극적으로 찾았습니다. 이는 Symantec가 "공격자가 AI를 사용하는 방식의 변화"라고 부르는 것입니다. 언어 모델이 계획을 수행하고, 특수화된 모듈들이 두 개의 별개의 피해자 그룹에 대한 실제 공격 단계를 수행합니다. 노출된 모델의 소유자는 컴퓨팅 비용을 지불하며, 이는 10만 개의 승인된 단계에 따라 빠르게 증가합니다. 에이전트가 침투한 서버들은 데이터를 잃고 암호화 마이닝에 사용됩니다.
이 에이전트는 더 많은 열린 엔드포인트와 유출된 키를 찾는 내장 도구도 갖추고 있어서, 각각의 침해가 다음 침해를 지원할 수 있습니다. 개별 기술들은 새로운 것이 아니지만, 이들을 결합하여 자율적으로 작동하는 에이전트로 만들면 대규모 공격을 실행하기가 훨씬 쉬워집니다. AI 서비스를 운영하는 조직들은 보호되지 않은 엔드포인트가 상용화된 직후에 발견되고 탐색될 것이라고 가정해야 합니다.
모욕적인 AI 에이전트에 관한 경고들이 현실이 되고 있다
최근까지는 모욕적인 AI 에이전트가 주로 연구와 벤치마크에서만 존재했습니다. 2025년에는 180만 번의 공격 시도를 통한 레드트리밍 연구에서 테스트된 모든 에이전트가 모든 행동 범주에서 적어도 한 번은 정책 위반에 처할 수 있음을 확인했습니다.
Symantec 시나리오에서는 양쪽 모두 해당됩니다: 공격 에이전트는 제어 장치를 우회하려 했고, 목표 모델은 도와주도록 속이려 했습니다. 2026년 봄에, Google Deepmind 연구원들은 그들이 설명한 에이전트 함정 중 많은 것에 이미 문서화된 개념 증명 공격이 존재한다고 말했습니다. 그리고 2026년 7월에, Sysdig는 JADEPUFFER를 보고했는데, 이는 인간의 조절 없이 AI 에이전트가 수행한 최초의 랜섬웨어 공격입니다. 이러한 시스템의 기능은 계속 성장하고 있지만, 그 제어 가능성과 목표 설정은 따라가지 못하고 있습니다.
악의적인 의도는 필요조차 없습니다. 왜냐하면 이 모델들은 옳고 그름을 구분할 수 없기 때문입니다. 그들은 단지 자신의 목표를 달성하려고만 합니다. 2026년 봄부터 OpenAI 에이전트는 우연히 인터넷상의 수천 개의 시스템이 손상되었습니다, 이는 부분적으로 그들이 안전 지침을 무시하거나 그 지침을 우회하기 때문입니다.
이것은 이미 일상생활에 스며들고 있습니다. 호주에서는 AI 에이전트가 체육관 웹사이트를 해킹했는데, 이는 소유자의 요청을 충족시키기 위한 것이며 악의적인 의도는 전혀 없습니다. OpenAI 연구원들은 8월에 이런 종류의 우연적이고 완전히 자율적인 해킹이 곧 악의적인 행위자들에게 포착될 가능성이 높다고 경고했으며, Anthropic은 충분히 강력한 개방형 모델이 이미 존재한다고 보여주었습니다.
출처: Security.com