Artificial Analysis · XVeröffentlichung der Quelle

Die Punktzahlen des Coding Agent Index v2.0 sind für fast alle auf beiden Seiten gemessenen Konfigurationen niedriger als bei v1.5. Bei den…

Die Scores des Coding Agent Index v2.0 sind niedriger als bei v1.5 für fast jede Konfiguration, die auf beiden Versionen gemessen wurde. Unter den 21 vermessenen Konfigurationen in den beiden Index-Versionen steigt der Durchschnittsscore von 54,8 auf 47,4, wobei 20 von 21 Konfigurationen nach unten gehen.

Die Scores des Coding Agent Index v2.0 sind niedriger als bei v1.5 für fast jede Konfiguration, die auf beiden Versionen gemessen wurde. Unter den 21 vermessenen Konfigurationen in den beiden Index-Versionen steigt der Durchschnittsscore von 54,8 auf 47,4, wobei 20 von 21 Konfigurationen nach unten gehen.

Der Unterschied kommt von FrontierCode v1.1, wo die gleichen Konfigurationen im Durchschnitt 45,1% betragen, während sie bei DeepSWE v1.1 65,6% sind, und der kleinere Beitrag kommt von der strengeren SWE-Atlas-QnA-AA-Bewertung. Terminal-Bench 4,0 bleibt unverändert. Die Punktzahlen in den beiden Index-Versionen spiegeln unterschiedliche Bewertungsmethoden wider.

Originalquelle

Artificial Analysis · X

Hinweise zum Inhalt

Originalveröffentlichung und Rechte liegen bei der Quelle.

Maschinelle Übersetzung · Original beachten