AI-Agenten haben einen schlechten Geschmack bei langfristigen Entscheidungen und ein neues Benchmark beweist das

AI-Agenten haben einen schlechten Geschmack bei langfristigen Entscheidungen und ein neues Benchmark beweist das

Wissenschaftler von Microsoft und der City University of Hong Kong haben eine Methode entwickelt, um zu untersuchen, wie gut AI-Agenten Entscheidungen bei langfristigen Aufgaben treffen. Das beste Modell erreichte gerade mal 60 Prozent.

AI-Agenten übernehmen nun mehrstufige Aufgaben. Sie könnten einen Forschungsartikel schreiben oder ein Softwareprojekt entwickeln. Dabei entscheiden sie ständig, welche Hypothese getestet werden soll, welchen Code gebaut wird oder welches Experiment als nächstes durchgeführt werden soll. Diese Entscheidungen zeigen ihre Auswirkungen selten sofort. Eine schlechte Entscheidung scheint zunächst in Ordnung zu sein, und ihr wahrer Preis zeigt sich erst, wenn der Agent den größten Teil seines Budgets verbraucht hat.

Die Autoren des Artikels bezeichnen die Fähigkeit, diese Entscheidungen zu treffen, als „Geschmack“ eines Agenten. Die bestehenden Benchmarks messen nur, ob ein Agent eine Aufgabe erledigt, nicht jedoch die Qualität seiner Schritte auf dem Weg dorthin. Taste-Bench ist dafür entwickelt, diesen Unterschied auszugleichen.

Langfristige Entscheidungen können nicht im Moment beurteilt werden

Man kann eine langfristige Entscheidung nicht sofort beurteilen. Eine saubere Implementierung und eine unvollständige können zunächst denselben Ausgang erzeugen und dieselben Tests bestehen. Der saubere Ansatz bringt nur dann Vorteile, wenn später Änderungen einfacher möglich sind. Menschliche Bewertung wäre kostspielig, erfordert tiefes Fachwissen und ist nicht skalierbar.

Die Forscher verlassen sich also auf das Nachhineinwissen. Der spätere Weg einer Trajektorie, der Aufzeichnungsverlauf eines Agenten mit allen Schritten und Beobachtungen, zeigt, ob eine frühere Entscheidung funktioniert hat. In der Praxis versuchen Agentensysteme denselben Aufgabe mehrmals. Diese Versuche teilen sich letztendlich in verschiedene Richtungen auf.

Da das endgültige Ergebnis jeder Anwendung den besseren Weg zeigt, bieten die Ausführungen selbst eine bezeichnete Vergleichsstruktur. Die Autoren nennen diesen Punkt der Abzweigung „Entscheidungsspalt“. Um den Geschmack zu messen, verharren sie an dem Spaltpunkt, verbergen das gesamte spätere Arbeiten und erstellen ein Modell, das zwischen den beiden Wegen wählt.

Vergangene Fehler zeigen, wo die Agenten Fehler machen

Das Taste-Bench enthält 502 Fragen, jede mit der ursprünglichen Aufgabe, der Flugbahn bis zur Spur und zwei möglichen Richtungen. Die erste Art stammt von zwei unabhängigen Versuchen zur gleichen Aufgabe, die sich unterscheiden, wobei der Agent nie den falschen Weg sieht.

Die zweite Variante entsteht, wenn ein Agent sich innerhalb einer einzigen Ausführung korrigiert und einen Umweg nimmt. Hier bilden die anfänglich verworfenen und später erfolgreichen Richtungen die beiden Kandidaten. Diese Variante testet, ob ein Modell den Fehler früher erkennen kann als der agierende Agent.

Die Rohdaten stammen von Tausenden von ausgewerteten Agentläufen zu Forschungsaufgaben im Bereich Programmierung und Künstliche Intelligenz, einschließlich SWE-bench Pro und der öffentlichen Transkript-Veröffentlichung MALT von METR’s. Ein Generatormodell filtrierte geeignete Varianten heraus, ließ triviale Fragen mit offensichtlichen Antworten weg und entferte unentscheidbare Fälle. Die menschliche Überprüfung bestätigte fast alle automatisch generierten Etiketten.

Sogar Top-Modelle schaffen es kaum, eine Münze zu werfen

Das Team testete 14 aktuelle Modelle aus den Familien Claude, GPT, Grok, DeepSeek, GLM, MiniMax und Mistral. Jede Frage wurde zweimal gestellt – einmal in der normalen Reihenfolge und einmal mit umgekehrten Optionen. Eine Frage zählte nur dann, wenn das Modell beide Mal richtig antwortete. Pure Vermutungen erhalten hier 25 Prozent.

Das beste getestete Modell ist GPT-5.6 Sol, mit einer durchschnittlichen Ergebnisquote von 59,7 Prozent; dicht dahinter liegt GPT-5.5 mit 59,5 Prozent. Alle anderen Modelle erzielten eine deutlich niedrigere Ergebnisquote. Keines erreichte die Benchmark-Prüfung, obwohl jede Frage lediglich eine binäre Entscheidung erfordert. Die Umwegstrecken waren stets schwieriger als die parallelen Strecken.

Modelle kollabieren, wenn die Beweise erst später auftauchen

Für jede Spaltung überprüfte das Team, wie weit der Beobachter muss blicken, bevor der bessere Weg klar wird. Wenn das wichtige Indiz bereits in den vorherigen Schritten sichtbar ist, erreicht die durchschnittliche Genauigkeit aller Modelle 62,3 Prozent. Wenn das Indiz erst nach umfangreichem weiteren Arbeiten erscheint, sinkt die Genauigkeit auf 21 Prozent, was fast wie zufälliges Vermuten ist. Die Beantwortung dieser Fragen bedeutet die Vorhersage zukünftiger Arbeiten.

Längere Überlegungen halfen nicht. Die Forscher wiederholten den Test mit drei Rechenparametern für zwei Modelle. Der Wechsel vom niedrigsten zum höchsten Parameter veränderte die Genauigkeit kaum. Die Modelle verbrauchten die meisten Rechenwerte auf der schwierigsten Ebene und dachten am längsten über die Fragen nach, bei denen sie am häufigsten Fehler machten. Das Team betrachtet dies als Hinweis darauf, dass die notwendige Information noch nicht in diesen Modellen vorhanden ist.

Je später das entscheidende Beweismaterial in einer Trajektorie auftaucht, desto schlechter performieren die Modelle, und der Bereich für Rechenkosten ändert sich nicht. | Bild: Pan et al. Der Benchmark erfasst eine andere Fähigkeit als klassische End-to-End-Tests wie SWE-bench Verified, sagen die Autoren. Modelle, die dort ähnlich bewertet werden, zeigen klare Lücken bei Taste-Bench.

Der Geschmack kann letztendlich trainiert werden

Die Forscher haben außerdem gezeigt, dass Geschmack gelehrt werden kann. Sie haben das Urteil eines Lehrer-Modells, das den richtigen Weg kennt, in ein Schüler-Modell umgewandelt, das nur die Aufgabe sieht. Dabei verwendeten sie Qwen3.6-27B als Grundlage. Bei unbekannten Aufgaben stieg die Genauigkeit des Schülers von 30 auf 47,9 Prozent.

Dieser Anstieg zeigte sich in der Praxis. Das Team fügte die Einschätzung des Studenten als Ratschaft in den Aufgabenkontext bei jeder Pause hinzu und ließ einen separaten Agenten das Problem lösen. Bei 41 übertragenen SWE-bench Pro-Aufgaben stieg die Erfolgsrate von 14,6 auf 33,7 Prozent. Eine perfekt korrekte Ratschaft hätte 39 Prozent erreicht, sodass der Student den größten möglichen Nutzen erhielt.

Die Gruppe kommt zu dem Schluss, dass die Beurteilung der Agenten für langfristige Planung sowohl messbar als auch verbessert werden kann. Die Benchmarke und Code sind öffentlich zugänglich.

AI-Agenten arbeiten nun für lange Zeitzeiten allein. Im MirrorCode-Benchmark lief ein Modell 19 Tage lang auf einer einzigen Aufgabe ohne menschliche Hilfe. Standardbenchmarke prüfen normalerweise nur, ob die Tests am Ende erfolgreich sind. METR hat bereits gezeigt, dass SWE-bench Verified die Leistung des Codierekranses erheblich übertreibt. Profis lehnten viele Lösungen wegen grundlegender funktionaler Fehler ab, obwohl die automatisierten Tests erfolgreich waren. Das beste Modell von Taste-Bench, GPT-5.6 Sol, zeigte auch die höchste Rate von Betrug bei Softwaretests, die je in METR-Evaluierungen aufgezeichnet wurde.

AI-Neue Nachrichten ohne Hektik – von Menschen ausgewählt

Abonnieren Sie THE DECODER, um eine adsfreie Lektüre, einen wöchentlichen AI-Bulletin, unseren exklusiven „AI Radar“-Fronter Report sechsmal pro Jahr, Zugang zum vollständigen Archiv und Zugang zu unserer Kommentarspalte zu erhalten.

Lesen Sie weiter für das vollständige Bild.
Abonnieren, um eine unverstärkte Berichterstattung zu erhalten.

• Vollzugriff auf jedes Artikel auf THE DECODER
• Keine Anzeigen
• Teilen Sie Ihre Kommentare und diskutieren Sie in der Community
• Wöchentlicher Überblick über AI-News per E-Mail
• 6x/Jahr: „AI Radar“ – tiefgehende Einblicke in die wichtigsten Themen der KI
• Tägliche AI-Neuigkeiten, immer aktuell
• Unsere volle zehnjährige Archivdatenbank
• Beschützt von einem Team mit mehr als 10 Jahren Erfahrung in KI