Agent Arena misst komplexe Aufgaben aus der realen Welt. Die Daten zeigen, dass diese Langzeitsitzungen die Unterschiede zwischen Frontmodellen verstärken.
Langzeitaufgaben in Agent Arena umfassen Hunderte von Runden, vom Portieren einer Codebasis nach Rust und der Prüfung eines Anlagestrategiedokuments bis zum Schreiben eines Mathematiklehrbuchs und mehr.
Der Vergleich des Top-Modells jedes der 5 führenden Labs auf Agent Arena zeigt eine Lücke von 55 Minuten darin, wie lange sie mit Langzeitaufgaben verbringen. Die Modelle sind:
- Claude Opus 5.5 von @AnthropicAI
- Gemini 4 Carbon von @GoogleDeepMind
- GPT-6 Astra von @OpenAI
- Muse Wonder Full von @AIatMeta
- Kimi K3.1 Pro von @Kimi_Moonshot
In dieser Gruppe braucht Claude Opus 5.5, Platz 1 in Agent Arena, bei jeder Aufgabenlänge am längsten, mit einem Maximum von 1 Stunde 51 Minuten. Im Gegensatz dazu verbringt Kimi K3.1 Pro bei jeder Länge die meiste Zeit am wenigsten, mit 56 Minuten bei Langzeitaufgaben.