AI实验室之间最大的差距并非它们的智能体能否完成任务,而是用户是否真正喜欢使用它们。
我们在6月下旬到10月初的期间,通过4项关键的智能体竞技场指标,跟踪了@AnthropicAI、@OpenAI、@GoogleDeepMind、@Kimi_Moonshot、@SpaceXSI和@deepseek_ai这些智能体的表现,以观察行业的发展趋势。
三件事很突出:
1. 用户对某些代理的偏好远高于其他代理。
在表扬与抱怨方面,OpenAI和Anthropic在排行榜平均分上领先35分。Moonshot、xAI和DeepSeek的得分则处于5到13之间。没有其他实验室的得分差异如此之大。
2. 代理在交付方面做得更好了。
在确认成功之后,平均实验室的最佳模型在三个月内从 -4 点上升到了 +14 点。Anthropic 以 Claude Opus 5.5 (Max) 为代表,取得了 +20 点的成绩。
3. 实验室正在朝着错误恢复和导向技术方向发展。
自六月以来,六个实验室之间的差距在 Bash Recovery项目上减少了超过一半(从34点降至16点),在 Steerability项目上也几乎减少了一半(从19点降至11点)。
简而言之,实验室正在努力避免失败。
让用户满意是前三名产品取得优势的关键。