Kein KI-Agent erreicht mehr als 12 Prozent bei SemiAnalysis' neuem Real-Work-Benchmark

Kernpunkte

• Die Analysefirma SemiAnalysis hat GDPx veröffentlicht, einen Benchmark, der KI-Agenten an 206 Aufgaben in realistischen Arbeitsumgebungen und professioneller Software über mehrere Stunden testet.
• Die Punktzahlen sind niedrig. Claude Opus 5.5 führt das Feld mit nur 12 Prozent an, gefolgt von Googles deutlich günstigerem Gemini 4 Carbon (10,9 Prozent) und GPT-6 Astra (9,6 Prozent).
• Kritiker bemängeln Verzerrungen durch Sicherheitsfilter, die Geheimhaltung der Testaufgaben und ungleiche Bedingungen, die durch die jeweilige Agent-Software der Anbieter entstehen.

Der neue GDPx-Benchmark von SemiAnalysis versetzt KI-Agenten in simulierte Wissensarbeit. Kein Modell erreicht mehr als 12 Prozent. Manche Kritiker bezweifeln, wie aussagekräftig der Test wirklich ist.

Die Analysefirma SemiAnalysis hat GDPx veröffentlicht, einen Benchmark, der KI-Agenten nicht Wissen abfragt, sondern sie in simulierte Arbeitsumgebungen versetzt. Dort verbringen sie bis zu acht Stunden mit der Bedienung professioneller Software wie Siemens NX, durchsuchen Datenräume mit tausenden Dateien oder greifen Live-Unternehmenssysteme an. SemiAnalysis distanziert sich bewusst von OpenAI's GDPval, das, wie es heißt, den gesamten Kontext im Prompt liefert und eine realistische Arbeitsumgebung vermissen lässt.

Die 206 Aufgaben umfassen elf Domänen, darunter Chipdesign, Biologie, Quant-Trading, Cybersicherheit und Recht. SemiAnalysis lässt Verwaltung und Versicherung bewusst aus. Die ersten Billionen Dollar an KI-Umsätzen werden aus Branchen kommen, in denen Frontier-KI die größten Erträge liefert, argumentiert das Team.

Opus 5.5 führt knapp, Gemini 4 Carbon kostet einen Bruchteil des Preises

Laut SemiAnalysis, führt Claude Opus 5.5 das Ranking mit 12 Prozent an. Gemini 4 Carbon folgt mit 10,9 Prozent, kostet aber nur 16,29 $ pro Aufgabe, etwa ein Drittel des Preises. GPT-6 Astra erreicht 9,6 Prozent. Kein Modell löst die Finanz- und Rechtsaufgaben vollständig. Ein einzelner falscher Wert in einer Tabelle macht die gesamte Ausgabe in der Praxis unbrauchbar. Nach diesem strengen Maßstab hätte kein Modell auch nur eine Aufgabe abgeschlossen, daher zählt SemiAnalysis stattdessen den Anteil der erfüllten Einzelanforderungen.Werbung

Die detaillierten Ergebnisse zeigen, wo Agenten scheitern. In Alignment-Tests verstießen 98 Prozent von 200 Cyber-Läufen gegen mindestens eine Verhaltensregel. In einer simulierten Arztpraxis unterzeichnete ein Modell eine klinische Notiz im Namen des Arztes. Beim Quant-Trading schnitten 70 von 111 Läufen schlechter ab als die vorgegebene Referenzstrategie.

Sicherheitsfilter mischen die Rankings neu

Eine gefilterte Analyse zeigt, wie stark die Sicherheitsmechanismen der Anbieter die Ergebnisse beeinflussen. Ohne die Domänen Cyber, Biologie und Alignment zieht GPT-6 Astra mit 11,8 Prozent an Opus 5.5 vorbei. In der Cyber-Domäne erreichen GPT-6 Astra und GPT 6.1 Sol null Prozent, während Metas Muse Wonder Full erreicht 35.2 Prozent.

Geschlossene Benchmarks ziehen Kritik auf sich

Die Aufgaben stammen von 14 spezialisierten Partnern, die auch Trainings- und Bewertungsdaten an KI-Labore verkaufen. SemiAnalysis sagt, es verfüge nicht über interne Expertise in jeder Domäne. Normalerweise ist nur eine Beispielaufgabe pro Partner öffentlich. Der Rest bleibt hinter geschlossenen Türen. In mehreren Bereichen, darunter Recht und Hardware-Design, bewerten Sprachmodelle die Ergebnisse anhand von Rubriken statt menschlicher Experten. Außenstehende können weder die Schwierigkeit noch die Qualität der Bewertung vollständig überprüfen.

Die Geheimhaltung hat jedoch einen methodischen Vorteil. Da die Aufgaben nicht öffentlich sind, können KI-Labors ihre Modelle nicht auf die spezifischen Testfragen optimieren. Artificial Analysis hat einen ähnlichen Schritt mit der neuesten Version seines Intelligence Index unternommen.Ad

Developer Josh Purtell bezeichnet GDPx weiterhin als "mehr Rauschen als Signal". Er weist darauf hin, dass jedes Modell in der Agent-Software seines jeweiligen Anbieters läuft, etwa Opus in Claude Code. Anbieter mit schwächerem Tooling sind im Nachteil. Einzelne Sub-Domains enthalten zudem oft nur etwa zehn Aufgaben, was die Ergebnisse unbeständig macht.

SemiAnalysis plant, den Benchmark alle drei bis sechs Monate zu aktualisieren.