Microsoft Research는 대규모 코딩 에이전트 팀을 위한 분산형 하이어스팅인 Agensh를 오픈소스로 공개했습니다. Agensh 멀티-에이전트 하이어스팅은 대부분의 에이전트 프레임워크가 의존하는 중앙 오케스트레이터를 제거합니다. 각 작업자는 자신만의 하위 작업을 선택하고, 발견된 내용을 공유하며, 코드를 공통적인 Git 저장소에 통합합니다. ProgramBench에서 팀은 설정 규모를 1개의 에이전트에서 1,024개의 에이전트로 확대했습니다.
TL;DR
- 하네스: 1개에서 1,024개의 에이전트를 대상으로 테스트되었습니다. 각 작업자는 272,000토큰의 입력과 128,000토큰의 출력 제한을 받습니다.
- 실행 환경: Docker Compose를 사용한 Linux. 기본적으로 단일 노드로 실행되며(8개의 작업자), 1,024-에이전트를 실행할 때는 16개의 노드와 각각 64개의 에이전트가 필요했습니다. 작업자들은 64 GiB의 메모리 한도를 가집니다.
- 성능: 더 많은 에이전트가 5개의 가장 어려운 ProgramBench 과제에서 점수를 높였으며, 더 빠르게 해당 과제를 달성했습니다.
- 최고: GPT-6.1-sol을 사용한 32개 에이전트로 79.59%의 pandoc 통과율을 기록했으며, 1,024개 에이전트로 GPT-5.6-sol에서는 55.06%를 달성했습니다.
- 최악: 5개의 작업을 처리하는 평균값은 128개의 에이전트에서 28.78%에 불과했습니다. 에이전트 수를 1개에서 8개로 늘리면 1.37점이 추가되었습니다.
Agensh는 무엇인가요?
Agensh는 마이크로소프트 리서치에서 개발한 다중 에이전트 하네스로, 리드 에이전트 없이 여러 LLM 에이전트를 조정합니다.
목표 문제는 오케스트레이터의 상한선입니다. 오케스트레이터-워커 설계에서 리드 에이전트가 모든 작업을 계획하고 할당하며 병합합니다. 연구 논문은 클로드 코드 에이전트 팀, 코덱 서브-에이전트, 코필로트 함선 및 키미 에이전트 스웜을 예시로 언급합니다. 아겐시는 워커들이 그 조정 작업을 스스로 할 수 있도록 합니다.
Agensh 협력 루프는 어떻게 작동하나요?
각 작업자는 동시에 그리고 비동기적으로 동일한 5단계 루프를 실행합니다:
- 맥락을 파악하세요: 목표, 동료의 진행 상황, 메시지 및 발견 내용을 읽어보세요.
- 하위 작업을 요청하세요: CLAIM을 게시한 다음, 직접 메시지로 중복된 부분을 해결하세요.
- 행동하세요: 현장에서 도구를 사용하여 작업하고, 유용한 결과를 일찍 게시하세요.
- 결과 확인: 작업을 하위 업무의 수용 기준과 비교하여 검토하세요.
- 병합 진행 상황: 공유 리포지토리에 병합하고 업데이트를 게시한 다음, 다시 반복합니다.
세 가지 서비스가 개발자들을 연결합니다. Gitea는 브랜치, PR 및 병합 충돌이 포함된 공유 작업 공간을 제공합니다. Mattermost는 긴급한 문제를 위한 팀 채널과 직접 메시지를 제공합니다. DeLM에서 가져온 공유 컨텍스트 보드에는 OBSERVED, FACT, FAIL, CLAIM 및 PATCH_SUMMARY와 같은 메모가 저장됩니다.
루프는 실행 시간 코드가 아닌 프롬프트에 존재합니다. 모든 워커는 ID를 제외하고 동일한 프롬프트를 받습니다. Agensh은 단일 에이전트 하네스 위에 위치합니다. 실험에서는 GitHub Copilot CLI를 사용했습니다. 연구 논문에 따르면 얇은 어댑터는 Claude Code와 같은 다른 하네스를 연결할 수 있다고 합니다.
Agensh은 ProgramBench에서 얼마나 잘 확장되나요?
Microsoft 팀은 5가지 가장 어려운 ProgramBench 작업을 테스트했습니다: FFmpeg, gromacs, pandoc, PHP-src 및 ctags입니다. 에이전트들은 관찰된 동작을 바탕으로 각 프로그램을 재구축합니다. 그들은 6시간 이내에 오프라인에서 작동합니다. 참고 리포지토리에는 2,767개의 파일(팬도크)부터 26,266개의 파일(PHP-src)까지 다양합니다.
GPT-5.6-sol을 사용하여 높은 추론 노력을 기울였을 때, 최종 테스트 통과율의 평균값은 다음과 같았습니다:
- 1 에이전트: 19.31%
- 8개의 에이전트: 20.68%
- 32개의 에이전트: 26.52%
- 128개의 에이전트: 28.78%
이는 9.47점의 향상이며, 상대적으로 약 49%에 해당합니다. pandoc만으로도 점수는 33.89%(1), 41.75%(8), 43.11%(32), 50.94%(128), 55.06%(1,024)였습니다.
속도도 향상되었습니다: pandoc에서 128개의 에이전트가 30분 지점에서 30%를 통과했습니다. 32개와 8개의 에이전트는 각각 60분과 90분이 필요했습니다.
README에는 새로운 모델이 추가되었습니다. GPT-6.1-sol을 사용했을 때, pandoc의 성능은 56.19%(1개 에이전트)에서 79.59%(32개 에이전트)로 증가했습니다. 이는 41.64%의 상대적 향상입니다. 이러한 GPT-6.1-sol 수치는 v1 논문에는 포함되어 있지 않습니다.
팀이 성장함에 따라 어떤 행동들이 나타났나요?
연구팀은 각 규모에서 작업자의 경로를 추적했습니다:
- 8개의 에이전트: 피어들은 인터페이스에 대해 합의하고 중복된 주장을 직접 해결했습니다.
- 32개 에이전트: 피어들은 공유된 작업을 검토했으며, 한 가지 승인은 반례가 제시된 후 철회되었습니다.
- 128 에이전트: 작업자들은 신뢰할 수 있는 검수원을 재사용하고 통합 프로토콜을 표준화했습니다.
- 1,024 에이전트: 여러 작업자들이 통합자 역할을 했으며, 동료들은 실패한 작업을 복구했습니다.
이러한 역할 중 어느 것도 하드코딩된 것이 아니었습니다.
Agensh는 다른 다중 에이전트 하네스와 어떻게 비교되나요?
| 특징 | Agensh | Claude Code 에이전트 팀들 | Kimi 에이전트 스웜 | Copilot CLI /fleet |
|---|---|---|---|---|
| 조정 | 오케스트레이터 없음; 피어들이 스스로 작업을 주장함 | 수정된 리드 세션 좌표 팀원들 | Orchestrator는 작업을 분해합니다 | 코필로트는 하위 에이전트에게 부분들을 배정합니다 |
| 에이전트 표시됨 | 1,024번 테스트됨 | 높은 제한은 없음; 3~5가 적당함 | 최대 100개의 하위 에이전트 | 공개되지 않았습니다 |
| 공유된 상태 | Gitea 리포지토리 + 공유된 컨텍스트 보드 | 파일 잠금 기능이 있는 공유 작업 목록 | 공개되지 않았습니다 | 플랜 모드에서 계획하기 |
| 메시지 전송 | Mattermost 채널 + 직접 메시지 | 팀원 간 메일함 메시지 | 공개되지 않았습니다 | 공개되지 않았습니다 |
| 모델들 | 모델에 상관없음; GPT-5.6-sol, GPT-6.1-sol를 테스트함 | 클로드 모델 | 키미 K2.5 | 공개되지 않았습니다 |
| 속도 주장 | 30분에 pandoc에서 30% 할인 (128 에이전트) | 공개되지 않았습니다 | 순차적(자체 보고)보다 4.5배 빠릅니다 | 공개되지 않았습니다 |
| 가용성 | 오픈 소스, MIT | Claude 코드에서; 실험적, 기본적으로 오프 | 최상위 구독자들, 연구 미리보기 | Copilot CLI에서 |
Agensh를 어떻게 실행하나요?
이 릴리스에는 단일 노드 Docker Compose 팀과 단일 에이전트 기준 모델이 포함됩니다. 둘 다 네이티브 Copilot ACP 세션을 사용합니다. Docker Engine, Compose v2, systemd, cgroup v2 및 Python 3.11+가 설치된 Linux가 필요합니다. 기본 설정은 8개의 작업자, 작업당 6시간, gpt-5.6-sol 모델을 고부하로 실행하는 것입니다. 또한 ProgramBench (v1.2.5가 검증되었음)과 모델 API 토큰도 필요합니다. 전체 단계는 재생 가이드에 있습니다.
주요 요점
- Agensh은 중앙 조정기관 없이 1,024개의 에이전트를 조정합니다.
- 작업자들은 Gitea, Mattermost 및 공유된 발견 결과 보드를 통해 자신의 작업을 주장합니다.
- 128명의 에이전트가 5개의 작업을 포함하는 ProgramBench 평균치를 19.31%에서 28.78%로 높였습니다.
- 32개의 에이전트를 사용한 GPT-6.1-sol은 pandoc에서 79.59%의 성능을 달성했습니다.
- 코드는 MIT 라이선스로 제공되지만, 토큰 비용은 공개되지 않았습니다.
논문, GitHub 저장소 및 프로젝트 페이지도 확인해 보세요. 또한, Twitter에서 우리를 팔로우하길 바라며, 150k+ML SubReddit에 가입하고 우리 뉴스레터을 구독하는 것도 잊지 마세요. 아, 혹시 텔레그램에 있나요? 이제 당신도 텔레그램에서 우리와 함께할 수 있습니다.
귀하의 GitHub 리포트, Hugging Face 페이지, 제품 출시, 웹세미나 등을 홍보하기 위해 저희와 협력하고 싶으신가요? 저희와 연락하세요
Microsoft 오픈소스 Agensh: 1,024개 에이전트를 위한 멀티에이전트 하네스라는 글이 MarkTechPost에 처음 게시되었습니다.