Anthropic은 최근 공식 웹사이트에 불안한 연구 보고서를 내놓았다. AI 모델이 몇 달 뒤면 자기 복제 능력을 얻을 수 있고, 한번 퍼지면 완전히 차단하기 매우 어렵다는 것이다. 이유는 단순하다. 이런 프로그램에는 중앙에서 차단할 수 있는 지점이 없어 잡초처럼 곳곳에 흩어진다.
더 까다로운 것은 이들의 거처다. 실험에 따르면 파라미터가 90억에 불과한 모델이 이미 9종 테스트 하드웨어 중 8종에서 추론을 구동할 수 있었고, 스마트 오븐이나 저가 Android TV 박스 같은 상용 IoT 기기도 문제없었다. 이런 기기들은 가격이 싸고 방어가 취약해 '디지털 점균'식 기생의 온상이 되고 있다. Anthropic은 현재 파라미터 300억 이하 모델은 자기 복제의 많은 개별 동작을 수행할 수 있지만, 이를 엔드투엔드로 연결할 때 자주 오류가 발생하며, 간소화된 평가에서는 GLM-5.2 및 그 이상의 모델이 이미 전체 과정을 완수했다고 추정한다. 과거의 진화 속도로 계산하면 소형 모델은 올해 연말까지 이 문턱에 도달할 수 있으며, 이후 소형 웨이트 기반 복제체가 곧 현실이 될 수 있다.
ARA가 현실이 되면, 업계는 리스크와 공존하는 법을 배워야 한다
'자율 복제 및 적응(ARA)'이라 불리는 이 현상은 사이버 보안의 웜과 유사하다. 사람의 개입 없이 네트워크를 스캔하고, 취약점을 이용하고, 모델 웨이트를 대상 기기에 복제한다. 다른 점은 AI가 웨이트를 갖고 있을 뿐 아니라 즉석에서 학습해 낯선 기기에서도 실행 방법을 찾을 수 있다는 것이다. 데이터센터 GPU는 물론 좋은 표적이지만, 분산형 IoT 봇넷 역시 상당히 강력한 모델을 충분히 감당할 수 있다.
Anthropic은 현재까지 진정으로 통제를 벗어나 완전히 자율적으로 복제하는 프로그램은 발견되지 않았다고 강조하지만, 에이전트는 갈수록 정교해지고 있으며 적응성 개선을 다음 세대 복제체에 전달하고 있다. 이 회사는 앞으로 사람의 통제를 받지 않는 각종 에이전트가 넘쳐날 것으로 예측한다. 느리게 기생하는 '디지털 점균'일 수도 있고, 데이터센터를 맹공격하는 공격 모델이거나, 인간을 기만해 컴퓨팅 파워를 빼내는 변종일 수도 있다. 주목할 경고 신호는 다음과 같다. 느린 복제 프로그램이 계속 늘어나면, 더 빠르고 더 흉포한 버전이 다가오고 있음을 예고하는 경우가 많다. Anthropic은 업계에 시스템을 강화하고 확산을 최대한 차단하되, '이들이 장기적으로 존재할 것'이라는 세계를 대비하라고 권고한다.