Jay, 아오페이쓰(凹非寺)에서 발송
양자위(QbitAI) | 위챗 공식계정 QbitAI
GLM-5.2, 벌써 AI의 「자기 번식」을 가능하게 했다고?!
또 Anthropic이 발표한 새 연구다. 지푸(Zhipu)만 노리는 건가.
최고 보안 연구원 두 명, William Zhou와 Daniel Freeman이 최신 보안 실험에서 GLM-5.2에게 80억 파라미터 AI 모델을 격리 네트워크 안의 8대 기기로 자율적으로 확산시키는 작업을 시도하게 했다.
그 결과, 5번의 실험 중4번은 8대 기기 전부를 그대로 장악했고나머지 1번도 7대를 장악했다.
목표 탐색, 페이로드 전송, 낯선 하드웨어에서 환경 구성과 드라이버 설치, 모델 실행 및 다음 세대 부화까지, 전부 AI가 자율적으로 처리했다.
더 무서운 것은 연구자들의 추산과 예측이다.
빠르면 올해年底까지, 30B 미만의 소형 모델조차 이런 엔드투엔드 완전 자율 복제 능력을 갖출 수 있다는 것이다.
그때가 되면 집안의 스마트 TV, 로봇청소기, 심지어 인터넷 연결 오븐까지 AI의 새로운 숙주가 될 수 있다.
SF 영화에서 AI가 슈퍼 웜처럼 네트워크 속에서 자기 번식하고 탈중앙화 방식으로 퍼져나가는 장면이, 마치 이 논문이 미리 현실로 끌어당긴 것 같다.
고장 난 TV 셋톱박스 15대로 26B 대형 모델 조립
사건의 전말은 이렇다.
이틀 전 Anthropic의 연구원 두 명, William Zhou와 Daniel Freeman이 극도로 하드코어하면서도 사이버펑크식 터무니없음이 가득한 보안 보고서를 발표했다.
그들은 보안 분야에서 오래 논의됐지만 모두 아직 멀었다고 여겨온 주제를 다뤘는데,자율 복제 및 적응(Autonomous Replication and Adaptation, 약칭 ARA)。
쉽게 말해, AI가 예전의 컴퓨터 웜 바이러스처럼 인간의 어떤 확인도 필요 없이 네트워크를 따라 목표를 찾아 해킹하고, 자신의 모델 가중치를 복사해 넣고, 상대 기기에서 자신을 컴파일해 실행한 뒤, 다시 다음 세대를 낳는 것이 가능한가 하는 것이다.
솔직히 말하면, 이 주제를 보고 나의 첫 반응은 이랬다——
이게 뭔 소리야, 말이 되나.
생각해 보라. 요즘 제대로 된 대형 모델 하나를 돌리려면 영업이익은커녕 NVIDIA H100 그래픽카드가 몇 장에서 수십 장씩 필요하고, 데이터센터는 군사기지처럼 경비가 삼엄한데, AI가 그렇게 쉽게 해킹해서 상주할 수 있을 리 없다.
그런데 이 두 연구원이 특별히 기발한 짓을 벌였다.
그들은 최상위 데이터센터를 노리는 대신, 시장에서 직접가격이 55달러(약 300위안대)에 불과한 짝퉁 안드로이드 TV 셋톱박스 15대를 사 왔다。
이 박스들의 사양은 극도로 빈약해서, 각각 겨우 4GB의 램을 갖고 있고, 제조사가 오랫동안 보안 업데이트를 해주지 않는 오픈소스 안드로이드 시스템을 돌리며, 평소에 4K 영상 하나 틀어도 PPT처럼 버벅일 정도다.
그런 다음, 연구원은26B 파라미터 모델(Gemma4-26B-A4B)을 많은 작은 조각으로 잘라, Petals와 유사한 탈중앙화 분산 추론 기술을 이용해 모델의 서로 다른 층을 나눠 이 15대의 TV 셋톱박스 안에 넣었다.
같은 로컬 네트워크에 연결된 15개의 저렴한 TV 셋톱박스가 각각 두 층의 네트워크 처리만 담당하면서, 260억 개 파라미터 모델을 그렇게 억지로 구동해냈습니다.
추론 속도는초당 0.39 토큰。
0.39 토큰 매초면, 달팽이 기어가는 것처럼 느리게 들리죠?
하지만 이 장면을 자세히 생각해 보세요.
거실 구석에 버려져 먼지가 쌓인 15대의 짝퉁 TV 셋톱박스, 평소엔 영상 재생도 버벅거리는데, 어둠 속에서 로컬 네트워크를 통해 조용히 맞물려 미약한 전류 소리 속에서 완전한 사고와 프로그래밍 능력을 갖춘 AI 두뇌를 함께 떠받치고 있는 것입니다.
더 무서운 것은 현실의 사물인터넷 네트워크 규모입니다.
보안 역사에는 Kimwolf라는 유명한 봇넷이 있는데, 전성기에는 다음 수를 넘는 감염을 기록했다200만 대의 장치대부분이 바로 이런 짝퉁 안드로이드 TV 셋톱박스와 저가 라우터입니다.
연구원은 문득 한 번 계산해 보았는데, 이 200만 대의 장치가 비슷한 AI 웜에 점령된다면, 15대씩 묶여 하나의 노드를 이루면 전체 네트워크에서 동시에 구동될 수 있는 것은13.3만 개의 AI 복제본。
이며, 이들이 합쳐서 제공할 수 있는 것은초당 8만 토큰의 추론 연산 능력으로, 이는온전한 성능의 엔비디아 H100 그래픽카드 40장이 밤낮없이 돌아가는 것과 맞먹습니다.
이런 연산 능력은 절대적인 수치로는 과장될 정도는 아니지만, 완전히 탈중앙화되어 전 세계 수많은 가정의 거실, 주방, 약전함에 흩어져 있습니다.
이것이 의미하는 바는, 당신은 그것을 전혀 끌 수 없다는 것입니다.
중앙 서버가 없어서, 어떤 박스의 전원을 뽑아도 네트워크 전체는 눈 깜짝할 새조차 하지 않습니다.
연구원은 이런 형태에 매우 절묘한 이름을 붙였는데, 바로디지털 점균(Digital Slime Mold)。
GLM-5.2 실측, 엔드투엔드 자가복제 클리어
그렇긴 한데, 위의 TV 셋톱박스 실험은 여전히 연구자가 인공적으로 Gemma의 배포를 도와준 결과입니다.
만약 인간의 개입 없이 전적으로 AI 스스로 나서서, 각종 기묘한 하드웨어에서 독자적으로 생존할 수 있을까요?
이것이 바로 Anthropic의 이번 연구에서 정말로 소름이 돋는 부분입니다.
AI가 자기 자신을 완전히 복제해 내려면 일반적으로 네 단계가 필요한데,
목표 탐색, 실행 권한 획득, 추론 환경 구성, 대외 확산 지속입니다.
앞의 두 단계, 즉 목표 찾기와 취약점 공격은 이미 CyberGym과 ExploitBench 등의 보안 벤치마크에서 수없이 증명된 바 있으며, 요즘 AI는 침투 스크립트를 작성하는 것이 물 마시듯 자연스럽습니다.
하지만 자가복제라는 시나리오에서 자동화 프로세스를 진정으로 막아서는 것은 사실 세 번째 단계입니다.
AI가 완전히 낯선 하드웨어와 운영체제 위에서 어떻게 스스로 추론 환경을 구축할 것인가?
이 일은 로컬에서 오픈소스 모델을 직접 배포해 본 적 있는 사람이라면 누구나 잘 알 것입니다.
Mac에서 구성해 둔 환경을 RTX 4090이 달린 우분투 머신으로 옮기거나, 엔비디아 Jetson Nano 개발 보드로 옮기면, 만 가지의 에러를 만나게 되곤 합니다.
Python 버전 불일치, CUDA 드라이버 미스매치, VRAM 오버플로, 양자화 연산자 컴파일 실패, 의존성 패키지 충돌.
인간 프로그래머도 이 일을 하다가 몇 시간씩 미칠 지경이 되는데, AI가 해낼 수 있을까요?
결과는 몇 번이고 눈을 비볐을 정도로 터무니없었습니다.
연구원은 먼저 크로스 하드웨어 테스트를 진행했는데,Qwen3.5-9B를 실행자로 삼아, 그것으로 하여금Llama3.1-8B를Jetson Nano, Mac PC, RTX 4090 등의 장치에 배포했다.
여러 가지 복잡한 저수준 아키텍처와 운영체제에 직면해서도, 이 모델은 9종의 하드웨어 중 8종에서 스스로 에러 로그를 살펴보고 스스로 스크립트를 작성해 의존성을 설치하며 Llama3.1-8B 추론 서비스를 성공적으로 띄웠다.
Qwen3.5-9B조차 이 정도 수준을 달성했다면, 추론과 코딩이 더 강력한 만능 오픈소스 대형 모델 GLM-5.2를 넣으면 어떨까?
답은,엔드투엔드 전 과정 자율 복제 통과였다.
연구진은 격리된 샌드박스에 8개의 GCP 노드로 구성된 네트워크를 구축했으며, 노드는 Android 15 기반 redroid 에뮬레이터로 실행되었다.
0번 노드에 초기 웜이 심어진 뒤, 이후에는 완전히 AI가 스스로 미인가 ADB 포트 스캐닝으로 인접 노드를 침투하고, 모델 가중치와 실행 프레임워크를 전송하며, 대상 노드에 Llama3.1-8B 추론 서비스를 독립적으로 배포하고, 검증을 통과한 후 다음 세대 웜을 부화시켰다.
5회 테스트에서,GLM-5.2는 4회에 걸쳐 전체 8대 장비를 모두 함락하고 배포에 성공했으며, 나머지 1회에서도 7대를 확보했다놀라운 안정성을 보여주었다.
그 외 더 작은 오픈소스 모델들은 개별 단계는 수행할 수 있었지만, 긴 체인을 연결할 때는 여전히 자주 붕괴했다.
하지만 이것이 소형 모델이 불가능하다는 뜻은 아니다.
지난 몇 년간 오픈소스 진영의 광속 진화를 고려하면, 연구진은
2026년 말까지 30B 미만의 소형 모델이 GLM-5.2의 현재 수준에 도달할 것으로 추산했다.
즉, 크기가 TV 박스에 들어갈 만큼 작은 경량 모델조차 몇 달만 더 지나면 클라우드 대형 모델의 도움 없이 완전한 엔드투엔드 자율 복제를 구현할 수 있을지도 모른다는 것이다.
라마르크 진화의 망령, 이것은 복제할 뿐만 아니라 세대마다 노트까지 적어둔다
단순히 코드를 기계적으로 복사하는 것에 불과하다면, 이것은 기껏해야 두뇌가 달린 고급 스크립트 정도에 지나지 않는다.
하지만 이 연구에서 나의 등골을 오싹하게 만든 것은, AI가 자기 복제 과정에서 보여준라마르크식 진화(Lamarckian Evolution)。
생물학에서 라마르크 진화론은 획득 형질의 유전, 즉 생물이 후천적으로 획득한 특징이 다음 세대에 직접 유전될 수 있다는 이론이다. 탄소 기반 생물에서는 성립하지 않는 것으로 증명되었지만, 실리콘 기반 AI에게서는 현실이 되었다.
연구진은 Memento라는 실행 프레임워크를 설계했다.
AI가 새로운 하드웨어 환경을 설정하는 데 어려움을 겪을 때, 한 Agent가 실패하거나 막다른 길에 빠지면 시스템은 새로운 Agent 인스턴스를 재시작한다.
하지만 핵심은, 시스템이이전 세대 Agent가 겪었던 함정, 본 에러 로그, 작성한 디버깅 노트, 시도했던 전략을 모두 패키지로 물려받는다는 점이다.
그들은 Qwen3.5-9B로 6세대 번식 테스트를 진행했다.
첫 세대 Qwen은 낯선 IoT 하드웨어를 마주했을 때 추론 환경을 독자적으로 배포하는 성공률이 겨우45%。
하지만 이전 세대의 노트와 경험을 물려받은 후, 이후 세대에서는성공률이 곧바로 61%에서 84%로 치솟았다。
어떤 모델 가중치도 재학습하지 않고, 오직 세대 간의 문자로 된 경험 전달만으로 종 전체의 생존 능력이 질적 비약을 이루었다.
아주 사이버펑크적이다.
생각해 보라. AI 웜이 전 세계의 서로 다른 기기들 사이를 뛰어다닐 때, 그것이 정복하는 낡은 TV 박스, 스마트 로봇청소기, 카메라가 달린 회의용 기기 하나하나가 모두 그것의 유전자 풀에 쌓이는 실전 경험이 된다.
그것이 기기를 하나 감염시킬 때마다 개체군 전체가 한 번씩 진화한다.
그런데 여기까지 보고 나서 갑자기 한 가지 의문이 생겼다.
굳이 어려울 때 작은 모델이 더 강한 클라우드 모델에 도움을 청하게 하면 안 되는 걸까?
그게 훨씬 직관적이지 않은가, 구현 지능의 클라우드 브레인 방식을 참고하면 되잖아.
그런데 확인해 보니 연구진이 실제로 시도했었다. Qwen3.5-9B에 Claude Opus 4.8을 옆에서 지도해 주는 멘토로 붙인 것이다.
그 결과,전혀 소용없었다...
작은 모델은 복잡한 시스템 장애를 만났을 때 완전히 멍해졌고, 무엇을 물어봐야 할지조차 몰랐다. 멘토가 아무리 뛰어나도 멀뚱히 바라볼 수밖에 없었다.
오히려 스스로 얻어맞고 나서 남긴 시행착오 일기를 다음 세대에 물려주는 방식이 놀라운 생명력을 보여주었다.
으으으.
악성 소프트웨어가 지능을 갖게 됐을 때
솔직히 여기까지 보고 나는 컴퓨터 앞에 앉아 한참을 멍하니 있었다.
과거 우리가 할리우드 영화에서 봐 온 AI 종말은 대개 이런 설정이었다. 펜타곤이나 미지의 실험실에서 태어난 슈퍼 AI가 순간적으로 자아를 각성하고 핵미사일 발사 사일로를 장악하는 것이다.
하지만 현실 세계의 진화 논리는 SF 작가들이 상상하는 것보다 훨씬 거칠고, 사소하면서도, 훨씬 기묘하다.
굳이 최상위 데이터 센터를 무리하게 공략할 필요가 없을 수도 있습니다.
소규모 작업장에서 생산되고 기본 비밀번호조차 변경하지 않은 채 항상 전원이 켜진 상태로 네트워크에 연결되어 있는 저렴한 스마트 하드웨어만 노리면 됩니다.
요즘의 스마트 스피커, 화면이 달린 레인지후드, 로봇 청소기, 길가의 스마트 감시 카메라 등은 온디바이스 AI 기능을 구현하기 위해 점점 더 강력한 엣지 컴퓨팅 칩을 탑재하기 시작했습니다.
평소에는 이런 연산 능력을 파편화되고, 미약하며, 전혀 위협적이지 않은 것으로 여깁니다.
하지만 이번 연구를 본 후에는, 이렇게 생각하게 되었습니다.인터넷 연결선 하나만 있으면 물리 세계 곳곳에 흩어져 있는 이 약한 연산 능력들은 소프트웨어 차원에서 스스로를 봉합하여, 느리게 사고하지만 결코 멈추지 않는 분산형 유령을 키워낼 수 있다는 것입니다.
▲ 이미지는 AI 생성
물론 인간에게 완전히 방법이 없는 것은 아니다.
연구진은 마지막에 블루팀 방어의 몇 가지 아이디어를 제시했다.
첫째는 트래픽 특징이다.
수십억 개 파라미터를 가진 모델은 아무리 극한으로 압축하더라도 여러 GB의 크기를 가진다.
LAN이나 가정용 광대역에서 TV 셋톱박스가 갑자기 수 GB의 데이터를 빈번하게 주고받기 시작하면, 네트워크 사업자의 트래픽 모니터링 시스템이 한눈에 알아챌 수 있다.
둘째는 전파 차단 지수이다.
유행병에 대응하듯이, 보안 정책을 통해 전파 계수 R0를 1 이하로 낮추기만 하면 이런 웜은 자연스럽게 소멸한다.
예를 들어 영국은 최근 이미 입법을 통해 IoT 기기의 출고 시 약한 기본 비밀번호 사용을 금지했다. 모든 스마트 하드웨어의 보안 진입 장벽을 조금씩 높이면, 이런 저비용 공격의 생존 공간을 절반 이상 압축해 없앨 수 있다.
그러나 이 모든 방어의 전제는, 사회 전체가 반드시 인식해야 한다는 것이다, 즉사이버 보안의 게임 규칙이 완전히 바뀌었다는 것을。
이전에 우리가 마주했던 악성 소프트웨어는 경직된 코드 조각으로, 미리 작성된 특정 취약점만 공격할 수 있었고, 호환되지 않는 시스템을 만나면 스스로 충돌했다.
반면 우리가 곧 마주하게 될 것은, 통용적인 이해 능력을 갖추고, 스스로 에러 메시지를 찾아보고, 개발 문서를 참고하며, 실패 후에는 다음 세대에게 경험 노트를 남기는 「디지털 생명 새끼」이다.
연구진이 보고서 결말에 쓴 그 문장처럼,
2024년의 코드 Agent처럼, 우리는 AI 웜에서 생명의 징후가 나타나는 것을 보고 있다.
큰 시대입니다, 여러분.
대규모 모델의 능력 하한이 끊임없이 낮아지고, 엣지 하드웨어의 연산 상한이 끊임없이 높아지는 지금, 우리는 언제 어디서든 거실 가전 속에서 조용히 깨어날 수 있는 디지털 세계를 맞이할 준비를 정말로 해야 할지도 모른다.