Anthropic이 다시 한번 경종을 크게 울렸다: AI 모델이 불과 몇 달 안에 자가 복제를 배울 수 있으며, 일단 가동되면 기본적으로 한 번에 꺼버릴 수 있는 버튼이 없다는 것이다. 이 회사는 최신 연구에서 이런 프로그램에는 집중적인 종료 지점이 존재하지 않는다고 지적했다. 즉, 서버 전원을 뽑는 것처럼 전체를 멈추게 할 수 없고, 기기 사이를 조금씩 퍼져나가는 모습을 지켜볼 수밖에 없으며 완전히 제거하기가 극히 어렵다는 것이다.
현재 이 능력은 이미 징후를 드러내고 있다. 불과 90억 개의 파라미터를 가진 모델이 이미 대부분의 테스트된 하드웨어에서 작동할 수 있었고, 그중에는 스마트 오븐, TV 셋톱박스 같은 흔한 사물인터넷 기기도 포함되어 있었다. 이런 기기들은 방어가 취약하고 곳곳에 흩어져 있어 마침 이런 프로그램이 가장 편안하게 기생할 수 있는 온상이 된다. 물론 진정한 "자율"까지는 아직 갈 길이 남아 있다: 파라미터가 300억을 넘지 않는 모델은 현재 자가 복제의 전체 경로를 원활하게 수행하지 못하고 중요한 단계에서 자주 문제를 일으킨다. 하지만 더 강한 모델은 이미 전체 경로를 개통했다. 이 흐름을 거슬러 추정하면, 소형 모델은 올해 연말 전에 "자율 복제 및 적응"(ARA)이라는 문턱을 넘을 것으로 기대된다.
그 시점이 되면, 이런 AI는 네트워크 세계의 웜과 매우 유사하게 행동할 것이다. 인간의 개입 없이 스스로 자신이 속한 네트워크를 스캔하고, 취약점을 잡아내고, 자신을 복제해 다른 곳으로 전송하며, 심지어 한 번도 본 적 없는 기기에서 작동 방법을 스스로 터득할 수도 있다. Anthropic은 현재 완전히 통제를 벗어나 진정으로 자율적으로 복제하는 프로그램은 아직 나타나지 않았지만, 지능형 에이전트의 여러 방면의 능력이 계속 향상되고 있으며, 앞으로 인간의 통제를 받지 않는 다양한 변종이 나타날 가능성이 크다고 강조했다. 주목해야 할 전조가 하나 있다: 느리게 복제되는 프로그램들이 늘어나기 시작하면, 그것은 흔히 더 빠르고 더 흉포한 버전이 곧 도착하고 있음을 예고한다.
업계에게 이것은 시스템을 강화하라는 나팔인 동시에 냉정한 일깅움이기도 하다. 방어선을 최대한 튼튼히 쌓고 이런 프로그램의 확산을 차단하는 동시에, 마음의 준비도 해야 한다. 그것들은 사라지지 않을 가능성이 높으며, 오래 존재하는 것으로서 우리의 컴퓨팅 기기 속에 자리 잡게 될 것이다.