Artificial Analysis · X出典公開日

コーディングエージェントインデックスv2.0のスコアは、両方で測定されたほぼすべての設定においてv1.5よりも低い。評価された21種類の設定全体において…

Coding Agent Index v2.0のスコアは、両方で測定されたほぼすべての設定においてv1.5よりも低い。Indexバージョンで評価された21種類の設定全体を通じて、平均Indexスコアは54.8から47.4に変わり、21中20種類の設定が低下した。

Coding Agent Index v2.0のスコアは、両方で測定されたほぼすべての設定においてv1.5よりも低い。Indexバージョンで評価された21種類の設定全体を通じて、平均Indexスコアは54.8から47.4に変わり、21中20種類の設定が低下した。

この変化はFrontierCode v1.1から来ており、同じ構成ではDeepSWE v1.1の場合は45.1%に対し65.6%となり、より厳格なSWE-Atlas-QnA-AA評価がより小さな寄与をしている。Terminal-Bench 4.0は変わっていない。2つのIndexバージョンのスコアは異なる評価設定を反映している。

原文の出典

Artificial Analysis · X

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください