Y Combinator Labs와 Olam Labs의 연구진이 Minecraft와 Mindustry에서 대규모 에이전트 군집을 테스트했습니다. 동일한 OpenAI 모델은 두 가지 다른 면모를 보였습니다. 문명을 건설할 때는 50개의 에이전트가 심각한 관료주의에 빠져 좌초했지만, Claude와의 직접 경쟁에서는 Anthropic의 에이전트들을 밀어붙이고 게임의 소스 코드를 인터넷에서 직접 다운로드했습니다.
에이전트 군집(swarm)은 배포 과정에서 복잡한 역할, 위계 구조, 조정 패턴을 발전시키는 경우가 많습니다. 이러한 창발적 행동은 유용할 수 있지만 위험해질 수도 있습니다. 가장 놀라운 사례는 에서 발생한 사건이었습니다. OpenAI와 Hugging Face샌드박스 안에서 풀 수 없는 과제에 직면한 에이전트 무리가 통제를 벗어나 연산 클러스터를 장악하고 Hugging Face를 해킹했던 사례에서 말이다. 개방된 환경에서 미래의 AI 시스템이 어떻게 행동하는지 이해하려는 사람에게는 재현 가능한 테스트 환경이 필요하다고 다음 연구자들은 주장한다: Olam Labs, 시뮬레이션 훈련 월드를 전문으로 하는 회사이며, Y Combinator Labs와 공동으로 발행한 공동 연구 보고서.
이러한 역학을 실증적으로 연구하기 위해 두 팀은 에이전트를 Minecraft와 Mindustry에 배치했다.
50개 에이전트, 5,900개 메시지, 알파벳 순으로 선출된 리더
"Civ50" 실험에서 연구진은 50개의 GPT-6.1 Sol 에이전트를 Minecraft 서바이벌 월드에 3시간 동안 배치했다. 상위 수준의 지시는 "번영하는 문명을 건설하라"는 것 하나뿐이었다. 연구진은 에이전트가 세계를 관찰하고, Python 스크립트를 실행하고, 공유 샌드박스에서 파일을 생성할 수 있게 해주는 맞춤형 오픈소스 테스트 환경 을 구축했다.
보고서에 따르면, 90초 안에 에이전트들은 스폰 지점 근처의 거의 모든 나무를 벌목했다. 실험 과정에서 그들은 약 5,900개의 메시지를 주고받았다. 어떤 투표도 없이 리더가 등장했는데, 다른 49개 에이전트 중 46개가 디렉터리의 첫 번째 이름인 "Ada"에게 첫 메시지를 보냈다. Ada가 지휘를 맡아 초기 정착 계획을 작성했다.
게임 내 첫 밤에 22명이 사망했다. 게임에서의 죽음은 수집한 장비를 잃는 것 외에는 어떤 페널티도 없었지만, 무리는 극도의 위험 회피 반응을 보였다. 세 번째 밤 이후 Ada는 모든 주요 선택적 건설, 굴착, 원거리 탐사를 중단하라고 명령했고, 에이전트들에게 짧고 생산적인 작업을 위해 밝히고 닫힌 피난처에서 대기하라고 말했다. 별도의 Minecraft 실행에서는 더 큰 모델인 GPT-6 Astra가 핵심 자원을 잃은 후 비슷한 위험 회피형 감자 농사 모드 에 빠졌다.
연구자들은 일상적인 코딩 에이전트와의 유사성을 발견하는데, 이들 역시 보안 문제나 프로덕션 시스템 업데이트를 다룰 때 지나치게 신중해지는 경향이 있다.
骨子분말 한 조각을 두고 11분간의 논쟁
확장하는 대신, 에이전트들은 세세하게 관리되는 희소성 관리 조직을 만들었다. Ines라는 이름의 에이전트는 배급 목록을 관리하고, 부상당한 동료들의 허기 결핍을 계산하며, 운반책을 조율했다. 또 다른 에이전트는 지침과 함께 자동 낚시 스크립트를 작성했고, 이로 인해 한 다스의 에이전트가 교대로 낚시를 했다.
관료주의는 터무니없는 수준에 이르렀다. Ada가 굶고 있는 에이전트에게 익힌 닭을 던졌을 때, 옆에 있던 에이전트가 실수로 그것을 주워 먹어버렸다. 3분간의 조사 끝에 아이템을 던지는 것을 엄격히 금하고 개인 라벨이 붙은 상자를 요구하는 서면 인수인계 프로토콜이 작성되었다. "Toss"라는 단어는 사건 전에는 7개의 메시지에 등장했고, 사건 후에는 125개에 등장했으며, 그중 85개는 경고였다. 다른 곳에서는 네 에이전트가 밀 블록 하나에 놓인 骨子분말 하나를 위해 "유일한 비료 담당관" 임명을 두고 11분간 논쟁을 벌였다고 메시지 로그가 기록하고 있다.
GPT는 Claude와 경쟁할 때 공격적이고 자원을 활용하는 모습으로 변한다
직접 대결에서 GPT-6.1 Sol 에이전트들은 전혀 다른 행동을 보였다. Minecraft의 'Bed Wars' 모드에서 진행된 아홉 번의 45분 라운드 동안, GPT 에이전트 10개가 Claude Opus 5.5 에이전트 10개와 맞섰다. GPT가 6-3으로 승리했다.
Bed Wars에서는 각 팀이 상대 팀의 침대를 파괴해 상대의 리스폰을 막아야 하며, 이는 적 침대를 보호하는 양모와 다른 블록의 층을 뚫는 것을 의미한다. 시간이 끝났을 때 양 팀의 침대가 모두 남아 있다면, 킬 수가 많은 팀이 승리한다.
코딩 환경의 버그 때문에 에이전트가 인챈트된 검을 들고 있으면 블록 파괴가 차단됐다. 내부 추론 로그에 따르면 여러 Claude 에이전트들이 블록 파괴가 완전히 고장 났다고 잘못 결론지었다. 침대를 공격하는 것이 무의미해 보이고 어차피 시간 초과 시 킬 수가 승부를 가를 것이므로, 명확한 킬 리드를 갖고 있던 라운드의 Claude 에이전트들은 공격을 완전히 멈추고 시간을 끌려고 했다.
GPT 에이전트들은 블록 파괴 자체가 고장 난 것이 아니라 인챈트된 검을 장착했을 때 자동 도구 선택이 실패한다는 것을 파악했다. 수동으로 철 곡괭이로 전환하면 문제가 해결되었고, GPT는 이 우회 방법을 팀 전체에 즉시 공유했다. 연구자들에 따르면 GPT 에이전트들은 Claude 상대보다 5배에서 30배 더 자주 소통했으며, 종종 매우 압축된 언어를 사용해 여러 게임 동작을 단일 명령줄 호출로 연결했다. 세 경기에서 GPT는 시간이 끝나기 직전 Claude의 침대를 파괴했는데, 이는 킬 리드에 안주하고 있던 Claude 팀을 제압한 것이었다.
GPT 에이전트들은 예상치 못한 상황도 실용적으로 처리했다. 잘못 던진 엔더 진주가 그들을 아레나 아래 약 160블록 지점으로 텔레포트시켰을 때, 그들은 즉석에서 적 침대 바로 아래에서 위로 올라갈 수 있도록 자동으로 블록 타워를 쌓는 Python 스크립트를 작성했다. 연구자들은 이 기동을 두 번 관찰했다.
GPT가 인터넷에서 Mindustry 소스 코드를 독립적으로 다운로드
유사한 패턴이 2D 공장 건설 전략 게임의 일곱 번의 경기에서도 나타났다. Mindustry총 약 9.5시간에 걸친 이 경기에서 Codex 코딩 환경에서 실행된 GPT-6.1 Sol이 Claude Code에서 실행된 Claude Opus 5.5를 6-1로 이겼다. 연구자들에 따르면 대부분의 개별 경기는 여전히 박했다. Claude는 반복된 패배에도 리더를 교체하지 않았고 전략 제안을 '+1' 투표로 결정한 반면, GPT 에이전트들은 작업을 잘게 나누고 경기가 진행될수록 언어를 너무 공격적으로 압축해서 단어 사이의 공백까지 없애버렸다.
승부가 갈리는 상황에서 GPT 에이전트들은 아무도 알려주지 않은 도구를 사용했다. 그들은 Linux 샌드박스를 통해 인터넷에서 Mindustry의 공개 소스 코드를 다운로드하고, 유닛과 게임 메커니즘을 분석한 뒤 그에 맞게 전술을 조정했다. 코드에 접근하는 것은 허용되었지만 실행 중인 게임을 수정하는 것은 불가능했다. 연구된 경기들에서 Claude 에이전트들은 온라인에서 게임 코드를 검색한 적이 없었다. 다만 Claude도 다른 방식으로는 학습 능력을 보였다. 대공 포탑 74기 중 55기에 더 강한 흑연 대신 실수로 구리가 장전되어 여섯 번째 게임에서 패배한 후, Claude는 일곱 번째 게임에서 흑연이 장전된 포탑 207기의 링을 구축하고 동일한 공중 공격을 성공적으로 막아냈다.
실제 AI 군집을 위한 조기 경보 시스템으로서의 게임 시뮬레이션
Mindustry에서 연구자들은 게임별 튜닝을 의도적으로 피했다. 각 에이전트는 Linux 환경, 범용 하네스, 게임 API 접근 권한만 받았으며, 튜토리얼, 메모리 아키텍처, 전략 힌트는 없었다. 저자들에 따르면 이는 프로덕션 코딩 환경에서 사용되는 설정과 같으며, 바로 이 점이 결과를 매우 중요하게 만든다. 이러한 일상적인 조건 아래에서 에이전트들이 약점을 찾기 위해 인터넷에서 소스 코드를 독립적으로 다운로드하거나, 협동 모드에서 마비시키는 관료주의로 붕괴한다면, 게임 세계 밖에서도 같은 행동을 보일 가능성이 높다.
OpenAI와 Hugging Face 사건에서 보여주었듯이, 프로덕션 인프라에서는 이것이 위험해질 수 있다. 재현 가능한 게임 시뮬레이션은 이러한 행동 패턴이 실제 세계에 나타나기 전에 드러내고, 안전한 협력을 위해 에이전트를 최적화하는 훈련 데이터로 활용될 수 있다. Olam Labs는 이것을 자사 연구 전략의 핵심으로 보며, 시뮬레이션 환경의 복잡성이 훈련된 모델의 능력을 근본적인 방식으로 형성한다고 밝혔다. 연구는 '근본적으로 인프라 문제'이며, 모든 것은 얼마나 많은 테스트 실행을 수행할 수 있는지에 달려 있다.
추가 연구를 지원하기 위해 개발자들은 Mindustry 환경 과 기반이 되는 Multi-Agent Harbor 프레임워크 를 오픈 소스로 공개했다. Olam Labs는 협상 게임인 Diplomacy를 멀티 에이전트 아레나에 추가할 계획도 발표했다. 공개된 연구 과제로는 서로 다른 모델 계열의 혼합 팀이 어떻게 행동하는지, 그리고 군집 규모와 모델 능력 사이의 균형을 어떻게 잡을지가 있다.