AI 연구소들 사이의 가장 큰 차이는 그들의 에이전트가 업무를 수행하는지 여부가 아닙니다. 중요한 것은 사용자들이 실제로 그들과 함께 일하는 것을 즐기는지 여부입니다.
6월 말부터 10월 초까지 사용된 4가지 주요 에이전트 아레나 신호를 통해, @AnthropicAI, @OpenAI, @GoogleDeepMind, @Kimi_Moonshot, @SpaceXSI 및 @deepseek_ai의 최고 에이전트를 추적하여 업계가 어떻게 변화하고 있는지 살펴보았습니다.
세 가지 점이 두드러졌습니다:
1. 사용자들은 일부 에이전트를 다른 에이전트보다 더 선호합니다.
칭찬과 불평에 관해, OpenAI와 Anthropic은 리더보드 평균보다 +35점 앞서 있습니다. Moonshot, xAI, DeepSeek은 +5에서 +13 사이에 위치합니다. 다른 연구소들은 이러한 정도로 넓게 분포하지 않습니다.
2. 에이전트들은 배송 업무에서 훨씬 더 나아지고 있습니다.
확인된 성공 후, 평균 실험실의 최고 모델은 3개월 만에 -4점에서 +14점으로 증가했습니다. Anthropic은 Claude Opus 5.5 (Max)를 통해 +20점을 기록하며 선두를 차지합니다.
3. 실험실들은 오류 회복 및 조향에 집중하고 있습니다.
6월 이후로, 6개의 실험실 간 점수 차이는 바시 리타이레이션에서 절반 이상 줄어들었고(34 → 16점), 스티어러빌리티에서는 거의 절반으로 줄었다(19 → 11점).
간단히 말해, 실험실들은 실패를 피하는 데 속도를 내고 있습니다.
사용자가 행복한 상태로 떠나는 것이 세 부문에서 선두를 차지하는 비결입니다.