Arena · X

人工智能实验室之间最大的差距并非在于它们的智能体能否完成任务,而是用户是否真正喜欢使用它们。

Arena用四个Agent Arena信号追踪六家实验室的顶尖代理,发现用户体验差距最大:OpenAI与Anthropic的Praise vs Complaint高出均值+35分。数据来自该平台自身评测,为单一来源结论。

AI实验室之间最大的差距并非它们的智能体能否完成任务,而是用户是否真正喜欢使用它们。

我们在6月下旬到10月初的期间,通过4项关键的智能体竞技场指标,跟踪了@AnthropicAI、@OpenAI、@GoogleDeepMind、@Kimi_Moonshot、@SpaceXSI和@deepseek_ai这些智能体的表现,以观察行业的发展趋势。

三件事很突出:
1. 用户对某些代理的偏好远高于其他代理。

在表扬与抱怨方面,OpenAI和Anthropic在排行榜平均分上领先35分。Moonshot、xAI和DeepSeek的得分则处于5到13之间。没有其他实验室的得分差异如此之大。

2. 代理在交付方面做得更好了。

在确认成功之后,平均实验室的最佳模型在三个月内从 -4 点上升到了 +14 点。Anthropic 以 Claude Opus 5.5 (Max) 为代表,取得了 +20 点的成绩。

3. 实验室正在朝着错误恢复和导向技术方向发展。

自六月以来,六个实验室之间的差距在 Bash Recovery项目上减少了超过一半(从34点降至16点),在 Steerability项目上也几乎减少了一半(从19点降至11点)。

简而言之,实验室正在努力避免失败。

让用户满意是前三名产品取得优势的关键。

原始出处

Arena · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准