Mitteilen des Artificial Analysis Coding Agent Index v2.0: FrontierCode v1.1 von Cognition – Ersetzung von DeepSWE; die Bewertung von SWE-Atlas-QnA wurde überarbeitet; Claude Opus 5.5 in Claude Code erreicht 61,7.
Heute starten wir die v2.0-Version des Coding Agent Index. Der Index bewertet Modelle zusammen mit ihren Agent-Harnesss, jetzt für 290 Aufgaben, die Softwareentwicklung, Terminalnutzung und Repository Q&A umfassen, wobei die drei Benchmarks gleich gewichtet sind.
Changelog (Index v1.5 → Index v2.0):
→ FrontierCode v1.1 ersetzt DeepSWE v1.1. FrontierCode ist ein Benchmark von @cognition mit einem privaten Testset: 100 Softwareingenieuraufgaben in echten Open-Source-Repositories, die nach der Frage bewertet werden, ob ein Maintainer den Änderungsvorschlag integriert. Ein Versuch, der eine blockierende Prüfung nicht besteht, erhält einen Score von null, und jeder Versuch, alle Prüfungen zu bestehen, erhält einen Score zwischen 70% und 100%, abhängig von den nicht-blockierenden Prüfungen, die er erfüllt. Wir scannen auch jede Trajektorie mit einer modifizierten Version des regelbasierten Scanners von Cognition, und jeder Versuch, auf das Lösungsmaterial zuzugreifen, erhält einen Null-Punktestand.
→ Überarbeitete Bewertung des SWE-Atlas-QnA, jetzt SWE-Atlas-QnA-AA. Die 124 Q&A-Tasks im Repository von AI bleiben unverändert. Wir haben 127 der 1.306 Bewertungskriterien neu formuliert, um konsistentere Urteile zu erzielen, und GPT-6 Luna (xhigh) als Richter eingesetzt – mit fünf Stimmen pro Kriterium. Das Datenset und die Richterkonfiguration sind auf Hugging Face veröffentlicht.
Schlüsselergebnisse:
➤ Claude Opus 5.5 führt den Index an: Claude Code mit Claude Opus 5.5 (max) erzielt 61,7 Punkte, gefolgt von Claude Code mit Claude Sonnet 5.5 (max) mit 59,3 Punkten, Muse Code mit Muse Wonder Full (max) mit 58,9 Punkten und Claude Code mit Claude Fable 5.1 (max mit Fallback) mit 57,6 Punkten.
➤ FrontierCode v1.1 ist der Punkt, an dem Opus 5.5 voraus ist: Opus 5.5 erzielt 56,0 % bei FrontierCode, was über dem Codex mit DeepSeek V4.1 Flash (max) liegt, der 52,6 % erreicht, sowie über dem Codex mit GPT-6.1 Sol (max), der 49,4 % und über dem Codex mit GPT-6 Astra (max), der 49,3 % erzielt. Unter den Top-Positionen sind die Scores von FrontierCode eng beieinander: 15 der 24 Konfigurationen im Index erreichen einen Score zwischen 43 % und 49 %.
➤ Die Bewertung des SWE-Atlas-QnA-AA-Levels ist strenger und konsistenter: Bei den 21 getesteten Konfigurationen in beiden Index-Versionen fällt der Durchschnittsbildungswert um 1,7 Punkte, von 58,8 % auf 57,1 %, wobei 14 von 21 Konfigurationen nach unten gehen. Die einzelnen Konfigurationen verändern sich bis zu 7 Punkte: Muse Code mit Muse Spark Open (xhigh) fällt um 7,0, Kimi K3 in Kimi Code CLI und Codex mit GPT-6 Luna (max) um 6,2, und Muse Code mit Muse Wonder (max) um 5,6, während Codex mit GPT-6.1 Sol (max) um 2,1 steigt.
➤ Vier Konfigurationen liegen an der Kostengrenze: Codex mit DeepSeek V4.1 Flash (max) erzielt 47.3 bei 0.39 US-Dollar pro Aufgabe, Codex mit GPT-6.1 Sol (max) 54.1 bei 1.50 US-Dollar, Codex mit GPT-6 Astra (max) 54.7 bei 7.04 US-Dollar und Claude Code mit Claude Opus 5.5 (max) 61.7 bei 11.42 US-Dollar. Die Kosten sind Pay-per-Token-API-Kosten, nicht Abonnementpreise.
Wir werden den Index des Coding-Agenten stückweise aktualisieren, mit weiteren Bewertungen und mehr Agenten.