Artificial Analysis · X来源发布时间

Coding Agent Index v2.0 的得分在几乎所有配置上都低于 v1.5,这两者所测量的指标均如此。在评估的 21 种配置中……

Coding Agent Index v2.0的得分在两种情况下都低于v1.5,适用于几乎所有配置。在两种Index版本所评估的21种配置中,平均Index得分从54.8降至47.4,其中21种配置中有20种有所下降。

Coding Agent Index v2.0的得分在两种情况下都低于v1.5,适用于几乎所有配置。在两种Index版本所评估的21种配置中,平均Index得分从54.8降至47.4,其中21种配置中有20种有所下降。

这一变化来自 FrontierCode v1.1,其中相同的配置在 FrontierCode v1.1 上的平均得分为 45.1%,而在 DeepSWE v1.1 上则为 65.6%,且更严格的 SWE-Atlas-QnA-AA 评分贡献较小。Terminal-Bench 4.0 保持不变。两种 Index 版本的得分反映了不同的评估方式。

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准