Artificial Analysis · X出典公開日

SWE-Atlas-QnA の採点方式が改訂され、現在は SWE-Atlas-QnA-AA となりました。Scale AI の 124 リポジトリの Q&A タスクは変更されていません。1,306 件のうち 127 件の文言を変更し…

SWE-Atlas-QnA の採点方式が改訂され、現在は SWE-Atlas-QnA-AA となりました。Scale AI の 124 リポジトリの Q&A タスクは変更されていません。

SWE-Atlas-QnA の採点方式が改訂され、現在は SWE-Atlas-QnA-AA となりました。Scale AI の 124 リポジトリの Q&A タスクは変更されていません。より一貫した判定のために 1,306 件のルーブリック基準のうち 127 件を言い換え、審判を GPT-6 Luna (xhigh) に変更し、基準ごとに 5 票の投票制としました。

Muse Code と Muse Wonder Full (max) の組み合わせが 68.8% で首位となり、以下、Claude Code と Claude Fable 5.1 (max with fallback) が 66.4%、Claude Code と Claude Opus 5.5 (max) が 65.9%、Claude Code と Claude Sonnet 5.5 (max) が 64.2% と続きます。両方の Index バージョンで評価された 21 構成全体では、平均スコアが 1.7 ポイント低下し、21 中 14 構成がダウンしました。

原文の出典

Artificial Analysis · X

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください