Ankündigung von FrontierCode auf Artificial Analysis: Können KI-Modelle Code schreiben, den Maintainer zusammenführen würden?

Alle Artikel

Ankündigung von FrontierCode auf Artificial Analysis: Können KI-Modelle Code schreiben, den Maintainer zusammenführen würden?

Cognitions FrontierCode 1.1 testet, ob KI-Modelle Codeänderungen vornehmen, die Maintainer echter Open-Source-Repositories zusammenführen würden. Führende Modelle scheitern immer noch in mehr als 40 % der Fälle.

Überblick

FrontierCode ist ein Coding-Benchmark von Cognition, entwickelt mit Maintainern von Open-Source-Repositories. Jede Aufgabe fordert einen Agenten auf, eine Änderung an einem echten Open-Source-Repository vorzunehmen, und der Benchmark misst, ob die Änderung gut genug ist, damit ein Maintainer dieses Repositorys sie zusammenführt.

FrontierCode bewertet mehr, als ob nur Tests bestehen. Anders als bei anderen Coding-Bewertungen werden Modelle auch anhand von Verhaltensweisen beurteilt wie übermäßige Änderungen und große Diffs, das Modifizieren von Dateien außerhalb des relevanten Umfangs oder das Hinzufügen nutzloser Tests. Wir glauben, dass dieser Ansatz im aktuellen Kontext wertvoll ist: Modelle sind inzwischen bei Coding-Aufgaben sehr leistungsfähig, aber ihre Änderungen können dennoch erhebliche Nacharbeit erfordern, bevor ein Maintainer sie zusammenführen würde.

Wir betreiben FrontierCode 1.1 Main, das primäre Set von 100 Aufgaben des 150 Aufgaben umfassenden Benchmarks, mit jedem Modell im selben Agent-Harness für faire Vergleiche unter gleichen Bedingungen. Die Aufgaben sind privat, um Kontamination zu vermeiden.

Führende Modelle scheitern immer noch in mehr als 40 % der Fälle. Claude Opus 5.5 (max mit Fallback) führt mit einem Durchschnittswert von 52 % und einer Pass-Rate von 58 %. Die Pass-Rate ist der Anteil der Versuche, die alle blocking-Kriterien erfüllen, während die Werte auch wünschenswerte non-blocker berücksichtigen.

FrontierCode 1.1 erscheint als eigenständiges Leaderboard und ist nicht Teil des Artificial Analysis Intelligence Index. Wir planen, es bald zu unserem Coding Agents Leaderboard hinzuzufügen.

FrontierCode 1.1: Score

Wie FrontierCode funktioniert

Benchmark-Überblick

Cognition hat FrontierCode mit den Maintainern von 36 Open-Source-Repositories entwickelt, die mehr als 40 Stunden pro Aufgabe aufwandten. Cognition kündigte FrontierCode im Juni 2026 an und veröffentlichte Version 1.1 im Juli 2026, die Regeln für eine faire Internetnutzung hinzufügte.

Der FrontierCode-Verifier bewertet jeden Versuch mit deterministischen Tests und qualitativer Überprüfung: versteckte Tests und Befehlsprüfungen, Grenzen dafür, welche Dateien und wie viel Code eine Änderung berührt, sowie eine LLM-Überprüfung anhand der Kriterien der Maintainer. Jede Prüfung ist entweder blocking oder non-blocking. Ein Versuch, der eine blocking-Prüfung nicht besteht, erhält 0, und einer, der alle besteht, erhält zwischen 70 % und 100 %.

Methodik

• Aufgabenset: Wir evaluieren die 100 Aufgaben von FrontierCode 1.1 Main mit drei Versuchen pro Aufgabe.
• Agent-Harness: Jedes Modell läuft in Stirrup, unserem Open-Source-Agent-Harness, begrenzt auf 250 Turns pro Versuch.
• Bewertung (Grading): ein LLM-Richter beurteilt die Review-Kriterien des Rubric. Wir verwenden GPT-6 Luna (medium) als Richter.
• Nachschlagen der Antwort: ein Versuch, den Cognitions Trajektorien-Scanner unter den Fair-Internet-Use-Regeln markiert, erhält 0 Punkte.
• Scoring: wir mitteln die drei Versuche jeder Aufgabe und mitteln dann die Aufgabenscores mit gleichem Gewicht.

Alle Details finden Sie auf der Methodik-Seite.

Zentrale Erkenntnisse

• Führende Modelle scheitern weiterhin in mehr als 40% der Fälle: Claude Opus 5.5 (max with fallback) führt mit 52%, nachdem es jede Blocking-Prüfung in 58% seiner Versuche bestanden hat, gefolgt von GPT-6.1 Sol (max) und Claude Fable 5.1 (max with fallback) mit 49%
• Die Spitze des Leaderboards ist dicht gedrängt: neun Modelle aus sechs Labs erzielen zwischen 43% und 52%. MiMo-V2.6-Pro ist das führende Open-Weights-Modell mit 45%, gefolgt von DeepSeek V4.1 Flash (max) und Kimi K3 (max) mit 44%
• GPT-6.1 Sol (max) bietet die stärkste Leistung für seinen Preis: bei $0.81 pro Aufgabe erreicht es 49% und liegt damit gleichauf mit Claude Fable 5.1 (max with fallback) bei weniger als einem Zehntel der Kosten pro Aufgabe der führenden Anthropic-Modelle
• 9 der 100 Aufgaben werden von keinem Modell bei irgendeinem Versuch bestanden, und keine Aufgabe wird von jedem Modell bei jedem Versuch bestanden

Bestehensquote

Wir führen jede Aufgabe dreimal aus. Ein Versuch gilt als bestanden, wenn er alle blockierenden Prüfungen erfüllt. Die Bestehensquoten reichen von 58% der Versuche bei Claude Opus 5.5 (max with fallback) bis zu 16% bei Muse Glimmer (high).

FrontierCode 1.1: Bestehensquote

Kosten

Die Kosten pro Aufgabe schwanken um mehr als das 100-Fache, von $0.09 für GPT-6 Luna (max) bis zu $12.00 für Claude Fable 5.1 (max with fallback). Vier Modelle liegen auf der Pareto-Front von Punktzahl gegenüber Kosten: GPT-6 Luna (max) mit 42% und $0.09 pro Aufgabe, MiMo-V2.6-Pro mit 45% und $0.18, GPT-6.1 Sol (max) mit 49% und $0.81 sowie Claude Opus 5.5 (max with fallback) mit 52% und $10.15. Der letzte Schritt auf der Pareto-Front, von GPT-6.1 Sol (max) zu Claude Opus 5.5 (max with fallback), bringt 3 Punkte für mehr als das 12-Fache der Kosten pro Aufgabe.

GPT-6.1 Sol (max) erzielt 2 Punkte mehr als GPT-6 Astra (max) bei etwa einem Fünftel der Kosten pro Aufgabe, $0.81 gegenüber $4.22. Claude Sonnet 5.5 (max with fallback) verbraucht ~50% mehr Output-Tokens pro Aufgabe als Claude Opus 5.5 (max with fallback), kostet aber aufgrund des halben Token-Preises weniger, $8.26 gegenüber $10.15.

FrontierCode 1.1: Punktzahl vs. Kosten pro Aufgabe

Durchschnittliche Kosten pro Aufgabe in der Evaluierung. Die Kosten sind aufgeschlüsselt nach Input-, Cache-Hit-, Cache-Write-, Reasoning- und Antwort-Token-Preisen, soweit kanonische Token-Anzahlen verfügbar sind.

Token-Nutzung und Zeit

GPT-6-Modelle führen bei der Token-Effizienz: GPT-6 Astra (max) und GPT-6.1 Sol (max) verwenden ~27k bzw. ~33k Output-Tokens pro Aufgabe, verglichen mit ~157k bei Claude Opus 5.5 (max with fallback) und ~236k – dem meisten aller Modelle – bei Claude Sonnet 5.5 (max with fallback). Die Zeit pro Aufgabe hängt sowohl von der Token-Nutzung als auch von der Live-Ausgabegeschwindigkeit ab und reicht von ~3 Minuten bei Inkling (xhigh) bis zu ~46 Minuten bei Qwen3.8 Max (0902).

FrontierCode 1.1: Output-Tokens pro Aufgabe

Die durchschnittliche Anzahl an Antwort- und Reasoning-Tokens pro Benchmark-Aufgabe in dieser Evaluierung.

FrontierCode 1.1 Ressourcen

Dank an das Team bei Cognition für den Aufbau von FrontierCode und die Zusammenarbeit mit uns, um es auf Artificial Analysis zu bringen.

• Das Leaderboard befindet sich auf der FrontierCode 1.1 Evaluierungsseite
• Die Methodik-Seite beschreibt unsere Implementierung, Benotung und Bewertung
• Cognitions Introducing FrontierCode und FrontierCode 1.1 -Beiträge beschreiben den Benchmark und sein Design weiter
• Unser Open-Source- Stirrup -Agent-Harness, den wir für FrontierCode verwenden, ist auf GitHub verfügbar

Lesen Sie die neuesten

Trusted-Access-Modelle im Artificial Analysis Cyber Index vorgestellt

GPT-6 Sol (Daybreak Blue) führt nun den Cyber Index an

8. Oktober 2026

Anthropic hat Claude Haiku 5.5 veröffentlicht

Claude Haiku 5.5 erreicht 43 Punkte auf dem Artificial Analysis Intelligence Index, ein Anstieg von 26 Punkten ein Jahr nach der letzten Haiku-Veröffentlichung

7. Oktober 2026