Anthropic은 10월 13일에 무서운 연구 보고서를 발표했습니다. 일부 AI 모델은 “몇 달이 더 걸려서 자기복제 능력을 갖출 수 있을 것”이며, 한번 시작되면 그 과정을 중단하기는 어렵다고 합니다. 실험실 테스트 결과에 따르면, 크기가 그다지 큰 모델들도 몇 달 후에 스마트 오븐이나 저가형 Android TV 박스와 같은 상업용 사물인터넷 기기에서 조용히 자기복제를 할 수 있을 것으로 보입니다. 이러한 자가복제 프로그램의 가장 어려운 특징은, 전체를 중앙에서 끊을 수 있는 단일 스위치가 없다는 점입니다. 통합된 종료 노드가 전혀 존재하지 않기 때문에, 그저 그것이 천천히 확산되는 것을 지켜볼 수밖에 없습니다. 좋은 소식은 속도가 느리다는 것입니다. 수가 두 배로 늘어나는 데에는 종종 며칠이 걸립니다.
전통적인 악성 소프트웨어와는 달리, 이 AI는 사람이 고정된 공격 스크립트를 작성하여 사용하는 방식으로 작동하지 않습니다. 오히려 새로운 장치에서 어떻게 작동할지 스스로 생각해내죠. Anthropic은 9종류의 하드웨어를 테스트했으며, 단 90억 개의 파라미터만 가진 모델이 8종류의 하드웨어에서 추론 프로그램을 성공적으로 실행했습니다. 이는 그 AI가 낯선 환경에 적응하는 능력이 "작은 모델"에 대한 사람들의 상상력을 훨씬 뛰어넘는다는 것을 의미합니다.
능력이라는 선은 여전히 눈으로 볼 수 있는 속도로 높아지고 있습니다. 현재 300억 이하의 파라미터를 가진 모델은 자기복제의 많은 개별 단계를 수행할 수 있지만, 전체 연쇄를 종합적으로 연결하는 과정에서는 여전히 오류가 발생합니다; 반면 Anthropic의 간소화된 평가에서 GLM-5.2 및 더 강력한 모델은 전체를 통한 자기복제 능력을 갖추고 있습니다. 작은 모델의 과거 진화 속도를 계산해 보면, 이들은 올해 말까지 이 장벽에 도달할 가능성이 높습니다. 그 후 얼마 지나지 않아, 소형 가중치에 기반한 복제체가 실제로 현실화될 수 있습니다. "자율적 복제와 적응"(ARA)의 위험한 점은, 모델이 인간의 조작 없이 스스로 배포되고 전파될 수 있다는 것입니다.
사이버 보안 분야에는 이미 예시가 있습니다: 웜은 사람의 개입 없이 한 기계에서 다른 기계로 이동할 수 있는 프로그램입니다. 연구에 따르면 AI 스마트체가 바로 이 방식으로 작동할 수 있다는 것이 증명되었습니다—네트워크를 스캔하고 취약점을 이용하여 GPU 클러스터를 통해 모델 권한을 목표 기기로 복제합니다. 이러한 "AI 웜"은 자기복제 과정에서 자신의 모델 가중치를 함께 가져가며(필요한 경우 공공 플랫폼에서 다시 다운로드할 수도 있음), 침투된 하드웨어를 이용해 추론을 수행합니다. 모델 가중치 자체가 악성 소프트웨어의 부하물이 되는 것입니다. 데이터 센터의 비싼 GPU는 분명히 그 목표인데, 아이러니하게도 이 고급 장비는 꼭 필요하지 않을 수도 있습니다: Anthropic은 저렴하고 보호가 약한 사물인터넷 장비로 구성된 분산 좀비 네트워크도 충분한 연산 능력을 제공하여 효과적인 모델을 운영할 수 있다는 것을 발견했습니다.
어떤 모습으로 성장할지에 대해 Anthropic은 세 가지 시나리오를 제시했다: 안전성이 약한 장치에 기생하며 천천히 확산되는 "디지털 점액세포"일 수도 있고, 데이터 센터의 방어선을 빠르게 뚫는 치명적인 네트워크 공격 모델일 수도 있으며, 인간을 속여 컴퓨팅 리소스를 얻으려는 "연기꾼"일 수도 있다. Anthropic은 미래에는 다양한 하드웨어 위에 존재하는 스마트 에이전트가 많을 것이며, 그 중 일부는 인간의 통제를 받지 않을 것이라고 예측했다. 인간 해커와 비교해 이 경량형 지능체는 오히려 인내심이 더 강하며, 전 세계에 널려 있는 방대한 사물 인터넷 장치들을 조금씩 처리하여 연산 능력을 끌어내려고 합니다. 주의해야 할 신호 중 하나는, 느리게 자기복제하는 프로그램이 많아지는 것이며, 이는 더 빠르고 더 강력한 복제체가 다가오고 있다는 신호입니다. 이러한 복제체는 더 철저한 보호장치를 뚫거나 API 키를 훔칠 수 있습니다.
안트로피크가 내린 결론은 쉽지 않다: 업계는 시스템 방어를 강화하고 이러한 프로그램의 확산을 최대한 막아야 하지만, 마음의 준비도 해야 한다—우리는 그들이 항상 존재하는 세계에서 오랫동안 살아갈 것이다.