ALTK-Evolve: Wie erlerntes Gedächtnis ohne Frontier-Modell die τ²-bench-Rangliste bei Kundenservice-Aufgaben anführt

ALTK-Evolve erlernt und wendet einen Playbook mit GPT-4.1 an und übertrifft damit die Retail-Einträge auf τ²-bench, einem Benchmark für Kundenservice-Agenten — ohne die Modellgewichte zu aktualisieren.

Erlerntes Gedächtnis bringt einen einfachen ReAct-Agenten mit GPT-4.1 an die Spitze

Mit GPT-4.1, einem älteren, nicht-reasoning Modell, erreicht ein einfacher Kundenservice-Agent 67.5% Pass^4 auf τ²-bench retail — das heißt, es löst die Aufgabe bei allen vier unabhängigen Versuchen für 67.5% der Aufgaben. Es liegt über jedem Retail-Eintrag in unserem Ranglisten-Snapshot vom 12. Oktober 2026. Es läuft auf dem Standard-ReAct-Scaffold des Benchmarks, wobei erlernte Richtlinien an seinen Systemprompt angehängt werden.

ALTK-Evolve erstellt diesen Playbook mit GPT-4.1. Es analysiert die Trainingsaufgaben-Versuche des Agenten und nutzt das Modell, um Erfolge und Misserfolge zu kurzen Verhaltensregeln zu destillieren: wie man einen Kunden authentifiziert, eine Transaktion bestätigt oder eine Rückgabe abwickelt. Diese Richtlinien werden dann für nachfolgende Gespräche in den Prompt des Agenten eingefügt. Dasselbe Modell treibt sowohl die Richtlinienextraktion als auch den Agenten an; keine Gewichtsaktualisierungen oder menschliche Annotation sind erforderlich.

Unsere frühere Arbeit hatte diesen Ansatz bei Coding-Agenten demonstriert. Hier testen wir ihn im Kundenservice, wo der Erfolg darin besteht, Domänenrichtlinien einzuhalten, die Anfrage eines Kunden zu verstehen und die richtigen Tool-Aktionen auszuführen.

τ²-bench testet richtliniengebundenen Kundenservice

τ²-bench (von Sierra) misst, wie gut ein Agent Kundenservice-Gespräche unter realen Einschränkungen bewältigt. Jede Aufgabe stellt den Agenten mit einem LLM-simulierten Kunden zusammen, der ein Ziel vor Augen hat, einer Reihe von Domänen-Tools (eine Bestellung nachschlagen, eine Rückerstattung ausstellen, einen Flug umbuchen) und einem schriftlichen Richtliniendokument , das der Agent befolgen muss. Der Agent muss die richtigen Details herausziehen, sich an die Richtlinien halten und die korrekten — oft unumkehrbaren — Aktionen ausführen; eine Aufgabe gilt nur als gelöst, wenn der endgültige Datenbankzustand dem erwarteten Ergebnis entspricht, eine strenge binäre Belohnung. Wir verwenden seine beiden Kundenservice-Domänen, retail und airline.

Wir nutzen τ²-benchs eigene Implementierung eines einfachen ReAct-Agenten mit einer zweiphasigen THINK → ACT -Schleife, mit gpt-4.1 als Agentenmodell und gpt-5.5 als Kundensimulatormodell; 4 Durchläufe pro Aufgabe. Die einzige Änderung, die wir vornehmen, ist ein Block gelernter Richtlinien, der an den Systemprompt angehängt wird — alles andere (Policy, Tools, Scaffold) ist unverändertes τ²-bench. Konkret werden die gelernten Richtlinien als einfache Markdown-Liste nach der Domain-Policy angefügt:

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

Wir extrahieren Richtlinien aus den Trajektorien des Agenten auf τ²-bench train Aufgaben mit gpt-4.1, demselben Modell, das den Agenten antreibt, und wenden sie dann unverändert auf dem zurückgehaltenen test set an.

Richtlinien verbessern Fähigkeiten und Zuverlässigkeit

In einem früheren Beitragsprachen wir darüber, wie verschiedene Modelle / Aufgaben unterschiedliche Dosierungen von Anleitung erfordern. Im Einklang mit dieser Idee evaluieren wir auch unterschiedliche Mengen von Richtlinien, die dem Modell bereitgestellt werden.

Jede Richtlinie trägt eine support Angabe — die Anzahl der unterschiedlichen Trainingsaufgaben, aus denen sie extrahiert wurde; eine höhere Unterstützung bedeutet also eine Regel, die sich über mehr Aufgaben verallgemeinern ließ, und keinen Einzelfall. Wir vergleichen drei Konfigurationen: baseline (keine Richtlinien), sup3 (nur Richtlinien mit support ≥ 3 behalten — ein kleiner, hochverlässlicher Kern) und lossless (jede Richtlinie behalten, die nach der Konsolidierung erhalten blieb, d. h. support ≥ 1).

Tabelle 1. Richtlinienkonfigurationen und Anzahl der behaltenen Richtlinien je Domain.

Die Kennzahlen, die wir verfolgen. Jede Aufgabe wird versucht 4-malund wir haben diese Studien auf zwei Arten gelesen:

• Durchschnittliche Genauigkeit — die durchschnittliche Erfolgsquote über die 4 Versuche hinweg. Dies ist die Fähigkeit Achse: Wie oft liegt der Agent damit richtig?
• Pass^4 — der Prozentsatz der Aufgaben, die über alle 4 Versuche hinweg bestanden wurden. Dies misst entlang der Zuverlässigkeits achse und entspricht der Metrik, die die τ²-bench-Leaderboard meldet. Sie ist hier relevant, weil ein Support-Agent, der 3 von 4 Rückerstattungen erfolgreich abwickelt, dennoch ein Viertel der echten Kunden im Stich lässt — Pass^4 fragt, ob man dem Agent jedes Mal vertrauen kann, nicht nur im Durchschnitt.

Abbildung 1. Mean Accuracy und Pass^4 auf gehaltenen Retail- und Airline-Aufgaben für Agenten, die gpt-4.1 über vier Versuche pro Aufgabe verwenden.

Agent-Modell: gpt-4.1 (Benutzersimulator: gpt-5.5).

Tabelle 2. Leistung von Agenten mit zurückgehaltenen Daten unter Verwendung von gpt-4.1 über vier Versuche pro Aufgabe. Klammern zeigen Veränderungen in Prozentpunkten gegenüber dem Baseline-Wert.

Die mittlere Genauigkeit steigt in beiden Domänen — Einzelhandel +4.4 Punkte (78.1 → 82.5) und Fluglinie +7.5 Punkte (57.5 → 65.0). Die Zuverlässigkeit steigt noch stärker: der strenge Pass^4 -Wert steigt +10 Punkte im Einzelhandel (57.5 → 67.5) und +10 Punkte bei der Fluglinie (35.0 → 45.0). Und die Gewinne entstehen durch besser informierte Entscheidungen, nicht durch längere Gespräche — wir betrachten die Gesprächslänge direkt im Abschnitt Bessere Leistung kostet mehr Token, nicht mehr Runden unten.

Die beste Menge an Anleitung hängt von der Domäne ab

Die beiden Domänen sind sich uneinig darüber, wie viel Anleitung sich auszahlt. Im Einzelhandel, gilt: mehr ist auf jeder Metrik besser — der kleine sup3-Core schlägt die Baseline bei der Genauigkeit nur knapp, und man braucht das vollständige verlustfreie Set für den echten Sprung. Bei Airline kehrt sich das Bild am Zuverlässigkeitsende um: verlustfrei führt bei der Genauigkeit (65% vs 60%), aber der kompakte sup3-Core (14 Richtlinien) ist der zuverlässigere und bringt Pass^4 auf 45% gegenüber 40% bei verlustfrei. Dies spiegelt die frühere Erkenntnis wider, dass Delivery ein Stellregler ist, keine Konstante, ist die Anzahl der Richtlinien ein Parameter, der sich pro Domain justieren lohntund kein fest einprogrammierter Wert.

Bessere Leistung kostet mehr Tokens, nicht mehr Gesprächsrunden

Richtlinien sind nicht gratis, aber die Kosten landen dort, wo man es erwartet — in den Eingabe-Tokens des Promptsund nicht in einem längeren, weitschweifigeren Gespräch:

Abbildung 2. Gesamtkosten des LLM pro Gespräch nach Domain und Richtlinienkonfiguration auf dem vollständigen Base-Split.

Tabelle 3. Gesamtkosten des LLM pro Gespräch (Agent und Benutzersimulator) auf dem vollständigen Base-Split über vier Versuche hinweg. Niedriger ist besser.

Kommt der Agent ans Ziel, indem er länger redet? Um das sauber zu beantworten, vergleichen wir wie mit wie: die gelösten Task-Runs unter beiden Einstellungen – Baseline und die Richtlinien-Variante – mit identischem Szenario und Seed, also ein echtes „gleicher Task, richtig gemacht“-Set – und zählen auf jeder Seite die Assistant-Turns.

Tabelle 4. Assistant-Turns pro Konversation für gematchte, unter beiden Einstellungen gelöste Runs im Test-Split, zusammengefasst über vier Durchläufe.

Der Agent redet nicht länger – im gemeinsamen Set machen Guidelines die Konversationen etwas kürzer: lossless kürzt um ~0.3–0.4 Turns in beiden Domains (Retail 10.59 → 10.16, Airline 9.15 → 8.82), und keine Variante verlängert sie. Das zählt über die Kosten hinaus: Jeder Turn ist ein sequenzieller LLM-Round-Trip, also bedeutet weniger Turns geringere End-to-End-Latenz – eine schnellere Zeit bis zum Abschluss für den Kunden, nicht nur eine günstigere. Der einzige echte Preis liegt auf der Eingabeseite – der größere System-Prompt, der bei jedem LLM-Aufruf mitläuft: Retail's 292-Guidelines-Prompt treibt die Kosten von ~$0.084 auf ~$0.139 pro Konversation, während Airline's kleineres Playbook günstiger ist. Und in der Produktion lässt sich selbst das größtenteils mit Prompt-Cachingzurückholen, da der Guideline-Block bei jedem Aufruf identisch ist.

Der Trade ist also ein günstiger: Für leicht höhere Eingabekosten (die in der Praxis großteils durch Caching wegfallen) landet der Agent höhere Genauigkeit, höhere Zuverlässigkeit, und niedrigere Zeit bis zur Fertigstellung zugleich — nicht der übliche Kompromiss von Qualität gegen Latenz, sondern alle drei Größen bewegen sich gemeinsam in die richtige Richtung.

Gelernte Richtlinien verbessern auch Agenten mit Frontier-Modellen

Bisher haben wir ein älteres, nicht-reasoning Modell verwendet — gpt-4.1. Ein berechtigter Einwand ist, dass gelernte Richtlinien für einen Agenten mit einem Frontier -Modell möglicherweise weniger beitragen: Vielleicht überbrücken sie nur die Lücken eines schwächeren Modells. Deshalb haben wir es direkt getestet — wir führten airline erneut aus, mit gpt-5.5 sowohl für den Agenten als auch für die Richtlinienextraktion, auf demselben τ²-bench ReAct Scaffold, mit Richtlinien, die erneut aus den eigenen Läufen des Agenten gewonnen wurden. Ein Detail ändert sich mit dem Modell: Keine der in diesem Setup extrahierten Richtlinien erreichte einen Support ≥ 3 (sie liegen bei höchstens Support 2), daher ist der High-Support-Kern hier sup2 statt sup3.

Tabelle 5. Held-out-Leistung bei airline für den gpt-5.5 Agenten über vier Durchläufe pro Aufgabe.

Die gelernten Richtlinien verbessern auch dieses Setup. Auf denselben held-out Testaufgaben hebt das Anfügen an den Prompt die Accuracy um +10 Punkte (72.5 → 82.5) und das strenge Pass^4 um +15 Punkte (55.0 → 70.0) — ein größerer Zuverlässigkeitsgewinn, als wir ihn beobachtet haben gpt-4.1 bei genau diesen Aufgaben (+10 Punkte), und von einer deutlich höheren Ausgangsbasis aus. Das Lernen von Richtlinien um das Modell kann einen Agenten verbessern, selbst wenn er von einer stärkeren Basis startet. Und wo die Zuverlässigkeit der Baseline zwischen Wiederholungen schwankte, reproduzierte die verlustfreie Konfiguration exakt — der Gewinn, den sie bringt, ist verlässlich, kein Glücksgriff.

ALTK-Evolve führt den Leaderboard-Vergleich an

Die Einreichungen werden auf dem vollständigen Base-Split (train ∪ test) bewertet, wie τ²-bench es verlangt, und bei Pass^4berichtet. Da dies den vollen Aufgabensatz statt des zurückgehaltenen Test-Splits abdeckt, weichen diese Zahlen von den oben berichteten Testaufgaben-Zahlen ab. Hier zeigt sich der praktische Nutzen — Prompt-Level-Gedächtnis trägt Agenten mit jedem Basismodell anoder überdie aktuelle Unternehmens-Frontier:

• Retail: Platz 1. Auf dem Base-Split erreicht der Agent mit gelernten Richtlinien Pass^4 = 67.5%, vor jedem Frontier-Modell und vor RAFT-30B-A3B (61.4%), einem Modell, das auf synthetischen τ²-bench-Retail-Daten feinjustiert wurde. Mit dem unmodifizierten gpt-4.1 und einem an den Prompt angehängten Playbook übertrifft es dieses feinjustierte System um +6.1 Punkte.
• Airline: Platz 1 mit gpt-5.5, Platz 8 mit gpt-4.1 Verglichen mit der veröffentlichten Tabelle verleiht der kompakte sup3 core dem Agenten mit gpt-4.1 Pass^4 = 44% — 8., und übertrifft damit GPT-5.2 (ohne Reasoning) und kommt fast an Claude Sonnet 4.5 heran. Setzt man das stärkere Basismodell ein, führt derselbe Ansatz das Feld klar an: der Agent, der gpt-5.5 verwendet, erreicht 82.0%und übertrifft damit jeden Frontier-Eintrag (66–72%).

Abbildung 3. Pass^4-Vergleich zwischen ALTK-Evolve-Läufen und dem τ²-bench-Leaderboard-Snapshot vom 12. Oktober 2026.

Dieselbe Nachricht in beiden Domänen: Lernrichtlinien um der Ansatz funktioniert über verschiedene Basismodelle hinweg — er bringt einen Agenten mit einem älteren, nicht-reasoning-Modell in die Frontier-Liga im Retail-Bereich und führt einen Agenten mit einem Frontier-Modell im Airline-Bereich an die Spitze.

Agents können sich ohne Gewichtsupdates verbessern

Das Fine-Tuning eines Modells auf einem Benchmark ist teuer, fehleranfällig und lässt sich nicht auf die nächste Domäne übertragen. Hier verbessert ALTK-Evolve einen Aktien-Agenten auf einem Aktienmodell in beiden Domänen — und erreicht oder übertrifft ein feinabgestimmtes System im Retail-Bereich — nur mit Prompt-Level-Richtlinien, die aus den eigenen Läufen des Agenten extrahiert wurden, automatisch, ohne menschliche Annotation und ohne jegliches Test-Set-Leakage.

Links:

• Frühere Beiträge
  1. Thinking of ACE? We Can Do It with Fewer Tokens
  2. How much memory does your agent actually need?
  3. Your Agent Aced the Task. Will It Do It Again?
• ALTK-Evolve-Bibliothek — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• Retail-Leaderboard-Einreichung — τ²-bench PR #542
• Airline-Leaderboard-Einreichung - τ²-bench PR #551