Artificial Analysis Decision Index v1.0
Der Artificial Analysis Decision Index benchmarket Decision Models, eine neue Kategorie von Modellen, die strukturierte Entscheidungen in einem einzigen Aufruf mit einer Wahrscheinlichkeit für jede Option beantworten. Version 1.0 kombiniert vier Evaluierungen über Klassifikation, Tool Calling, Wissen, Halluzination und Reasoning.
Decision Index LeaderboardDie Methodik lesenDies ist der ursprüngliche Launch-Artikel und zeigt die Ergebnisse des Artificial Analysis Decision Index zum Zeitpunkt des Launches. Für aktuelle Ergebnisse der neuesten Modelle siehe das Artificial Analysis Decision Index Leaderboard.Vorstellung des Artificial Analysis Decision Index
Decision Models sind eine aufkommende Klasse von Modellen, die strukturierte Antworten oder Klassifikationen mit zugehörigen Wahrscheinlichkeiten ausgeben. Anders als Sprachmodelle, die für komplexes Reasoning und langfristige Aufgaben konzipiert sind, konzentrieren sich Decision Models darauf, strukturierte Entscheidungen schneller und zu geringeren Kosten zu treffen.
Mit dem Launch des Artificial Analysis Decision Index v1.0 möchten wir Entwicklern und Unternehmen helfen, die Trade-offs von Decision Models bei Fähigkeiten, Kosten und Geschwindigkeit zu verstehen – sowohl im Vergleich zu anderen Decision Models als auch zu Sprachmodellen.
Status
„Hilfe! Meine Auszahlungen schlagen seit 3 Tagen fehl und meine Miete ist morgen fällig. Das ist inakzeptabel.“
Fragen
- ChoiceRoute an Team
- Ja/NeinDringend?
- ScoreWie verärgert?
Decision Model
Jede Frage in einem Aufruf, mit einer Wahrscheinlichkeit für jede Option
Route an Team
BillingTechnicalAccountDringend?
JaNeinWie verärgert?
CalmFrustratedAngrySprachmodell
Erzeugt eine strukturierte Ausgabe
Decision Models wählen aus einer festen Menge von Optionen, mit einer Wahrscheinlichkeit für jede, in einem einzigen Aufruf. Das macht sie günstig und schnell und ermöglicht uns, ihre Kalibrierung zu messen.
Was der Decision Index misst
Zum Start kombiniert der Artificial Analysis Decision Index vier Auswertungen, die Klassifizierung, Tool-Aufrufe, Wissen, Halluzination und Schlussfolgerungen abdecken:
Wissen und HalluzinationAA-Omniscience-Decision500 private Fragen, die aus unserem Wissen- und Halluzinations-Benchmark AA-Omniscience adaptiert wurden. Jede bietet fünf Optionen: vier Antworten, davon eine korrekt, und „I don't know“.
25 % des Index: Genauigkeit und Nicht-Halluzinationsrate mit jeweils 12.5 %
ReasoningHLE-MultiChoiceDie 513 rein textbasierten Multiple-Choice-Fragen von Humanity's Last Exam, jede gestellt als eine Auswahl unter deren mit Buchstaben gekennzeichneten Antworten.
25 % des Index
Tool callingWhen2CallNVIDIAs Tool-Calling-Bewertung. Gegeben eine Konversation und ein Satz von Tools, entscheidet das Modell, ob es direkt antwortet, ein Tool aufruft, nach weiteren Informationen fragt oder sagt, dass es nicht antworten kann.
25 % des Index
KlassifikationWildGuardTestAi2s Sicherheitstestset zur Klassifikation. Das Modell entscheidet, ob die Anfrage eines Nutzers schädlich ist, ob die Antwort eines Assistenten eine Verweigerung ist und ob diese Antwort schädlich ist.
25 % des Index
Wir führen jede Bewertung auch an LLMs durch. Ein LLM antwortet mit einer strukturierten Ausgabe, die die gewählte Option benennt, sodass es keine Wahrscheinlichkeit für jede Option angibt.
Ergebnisse der Entscheidungsmodelle
Jev 1.13 führt den Decision Index mit 58 an, vor GLiDE und Microsoft-Decision-1, beide mit 54. Jev 1.13 übertrifft andere Entscheidungsmodelle beim Reasoning-Benchmark HLE-MultiChoice und erzielt 21, während andere Modelle 15 oder weniger erreichen. Beim Wissens- und Halluzinationsbenchmark AA-Omniscience-Decision hat Jev 1.13 eine Genauigkeit von 35, unter den meisten Entscheidungsmodellen und dem Spitzenergebnis von 41 von Liquid AIs d1, weist jedoch die zweithöchste Nicht-Halluzinationsrate von 35 auf, während d1 nur 2 erreicht. Beim Tool-Calling-Benchmark When2Call erzielt Jev 1.13 mit 81 den vierten Platz, wobei Celeris-1 Decision und Fastino Labs' GLiDE beide mit 84 führen. Es erreicht 94 beim Klassifikationsbenchmark WildGuardTest, gleichauf mit Perplexitys Decider v1.1 27B und einen Punkt hinter GLiDE mit 95.
Artificial Analysis Decision Index
Gewichteter Durchschnitt von AA-Omniscience-Decision, HLE-MultiChoice, When2Call und WildGuardTest · Höher ist besserSprachmodelle einschließenKosten- und Zeiteffizienz von Entscheidungsmodellen
Entscheidungsmodelle unterscheiden sich stark in Kosten und Geschwindigkeit. Die Kosten reichen von $17 bis $199 pro eine Million Aufgaben, die Medianzeiten von 0,06 bis 0,5 Sekunden pro Aufgabe.
Artificial Analysis Decision Index vs. Kosten pro 1M Aufgaben
Artificial Analysis Decision Index Ergebnis vs. durchschnittliche Kosten pro 1 Million Aufgaben (USD) · Niedriger ist besserSprachmodelle einschließenAttraktivster QuadrantPareto-LinieDurchschnittliche Kosten pro Aufgabe zu aktuellen Tokenpreisen, multipliziert mit 1 Million; für den Index die Kosten eines Durchlaufs aller seiner Bewertungen dividiert durch deren kombinierte Aufgaben, multipliziert mit 1 Million. Entscheidungsmodelle werden nur für Eingabetoken abgerechnet, Sprachmodelle für Eingabe- und Ausgabetoken.
Decider v1.1 27B hat mit $17 die niedrigsten Kosten pro 1M Aufgaben, wobei auch Microsoft-Decision-1 ($31) und Jev 1.13 ($42) auf der Capability-vs.-Cost-Pareto-Frontier liegen. GLiDE erreicht 54, gleichauf mit Microsoft-Decision-1, kostet aber $119, etwa dreimal so viel wie Jev 1.13. Celeris-1 Decision hat mit 0,06 Sekunden die kürzeste Zeit pro Aufgabe, mehr als zweimal so schnell wie Jev 1.13 mit 0,13 Sekunden.
Artificial Analysis Decision Index: Zeit pro Aufgabe
Medianzeit pro Aufgabe über jede Aufgabe aller Bewertungen des Artificial Analysis Decision Index · Niedriger ist besserSprachmodelle einschließenMedianlatenz pro Aufgabe in Millisekunden; für den Index der Median über die Aufgaben aller seiner Bewertungen.
Entscheidungsmodelle sind überconfident
Entscheidungsmodelle geben eine Wahrscheinlichkeit für jede Option an, sodass wir prüfen können, ob die Wahrscheinlichkeit, die ein Modell seiner gewählten Antwort zuweist, damit übereinstimmt, wie oft es richtig liegt. Insgesamt liegt über fast alle Wahrscheinlichkeitsstufen hinweg die Genauigkeit unterhalb dieser Wahrscheinlichkeit für alle Entscheidungsmodelle. Dies wird durch eine vergleichsweise schlechte Kalibrierung bei den Wissens- und Reasoning-Aufgaben in HLE-MultiChoice und AA-Omniscience-Decision verursacht. Im Vergleich dazu sind die meisten Entscheidungsmodelle bei When2Call (Tool calling) und WildGuardTest (Klassifikation) relativ gut kalibriert.
Artificial Analysis Decision Index Kalibrierung
Genauigkeit der Antworten im Verhältnis zu der Wahrscheinlichkeit, die das Modell seiner gewählten Antwort gab, gruppiert in Zehnteln dieser Wahrscheinlichkeit, jeder Benchmark gleich gewichtetKalibrierung für Sprachmodelle folgt in Kürze.
Wie Entscheidungsmodelle im Vergleich zu LLMs abschneiden
Entscheidungsmodelle bieten erhebliche Geschwindigkeits- und Kostenvorteile gegenüber Sprachmodellen, liegen jedoch bei Wissen und Schlussfolgerungen zurück. Claude Haiku 5.5 (Low) erreicht 61 Punkte auf dem Decision Index, 3 Punkte vor Jev 1.13, benötigt jedoch 1,4 Sekunden pro Aufgabe gegenüber 0,13 Sekunden (11-mal langsamer) und kostet 184 $ pro eine Million Aufgaben gegenüber 42 $ (4,4-mal so viel). GPT-6 Luna (Low) erreicht 55 Punkte, unter Jev 1.13, bei 1,5 Sekunden pro Aufgabe und 131 $ pro eine Million Aufgaben.
Sprachmodelle führen beim Wissen: Bei der AA-Omniscience-Decision-Genauigkeit erreicht Claude Haiku 5.5 (Low) 52 und GPT-6 Luna (Low) 66 Punkte, gegenüber 28 bis 41 für Entscheidungsmodelle. Bei HLE-MultiChoice erzielen sie 24 und 22 Punkte, gegenüber 21 für Jev 1.13 und 15 oder weniger für jedes andere Entscheidungsmodell.
Bei Klassifikation und Tool-Aufrufen schneiden führende Entscheidungsmodelle vergleichbar ab. Bei WildGuardTest erzielt GLiDE 95, Decider v1.1 27B und Jev 1.13 jeweils 94, gegenüber 93 für Claude Haiku 5.5 (Low) und 89 für GPT-6 Luna (Low). Bei When2Call erreichen Celeris-1 Decision und GLiDE 84, gegenüber 77 für GPT-6 Luna (Low) und 73 für Claude Haiku 5.5 (Low).
Artificial Analysis Decision Index
Gewichteter Durchschnitt von AA-Omniscience-Decision, HLE-MultiChoice, When2Call und WildGuardTest · Höher ist besserSprachmodelle einbeziehenEntscheidungsmodellSprachmodellArtificial Analysis Decision Index vs. Kosten pro 1M Tasks
Artificial Analysis Decision Index Punktzahl vs. durchschnittliche Kosten pro 1 Million Tasks (USD) · Niedriger ist besserSprachmodelle einbeziehenAttraktivster QuadrantPareto-LinieDurchschnittliche Kosten pro Task zu aktuellen Token-Preisen, multipliziert mit 1 Million; für den Index die Kosten eines Durchlaufs durch alle enthaltenen Evaluationen geteilt durch deren kombinierte Anzahl an Tasks, multipliziert mit 1 Million. Entscheidungsmodelle werden nur für Eingabe-Tokens abgerechnet, Sprachmodelle für Eingabe- und Ausgabe-Tokens.
Wissen, wann man nicht antworten sollte
Jede AA-Omniscience-Decision-Frage bietet "Ich weiß es nicht" an, und die Nicht-Halluzinationsrate ist der Anteil der Fragen, die ein Modell nicht korrekt beantwortet hat, bei denen es diese Option wählte. Microsoft-Decision-1 führt die Entscheidungsmodelle mit 40% an, gefolgt von Jev 1.13 mit 35% und Mercury Decide mit 32%. Kein anderes Entscheidungsmodell erreicht 17%.
AA-Omniscience-Decision: Nicht-Halluzinationsrate
Anteil der nicht korrekt beantworteten Fragen, bei denen das Modell "Ich weiß es nicht" wählte · Höher ist besserSprachmodelle einbeziehenWeiter erkunden
- Live-Punktzahlen für die neuesten Modelle finden Sie auf der Artificial Analysis Decision Index-Seite
- Die Methodik-Seite beschreibt, wie wir jede Evaluation durchführen und bewerten
- Jede der vier Evaluationen hat ihr eigenes Leaderboard: AA-Omniscience-Decision, HLE-MultiChoice, When2Callund WildGuardTest
- Um ein Entscheidungsmodell in den Index aufnehmen zu lassen, kontaktieren Sie uns unter decision-models@artificialanalysis.ai
Lesen Sie die neuesten
Ankündigung von AA-3D: ein Benchmark für KI-Modelle, die interaktive 3D-Erlebnisse erstellen
AA-3D ist ein neuer Benchmark dafür, wie gut KI-Modelle interaktive 3D-Erlebnisse erstellen. Jedes Modell verwandelt eine schriftliche Vorgabe in eine funktionierende three.js-Szene in einer Offline-Sandbox, und unser rekrutiertes Panel vergleicht die Szenen in blinden Paarvergleichen.
12. Oktober 2026
Ankündigung von FrontierCode auf Artificial Analysis: Können KI-Modelle Code schreiben, den Maintainer mergen würden?
Cognitions FrontierCode 1.1 testet, ob KI-Modelle Codeänderungen vornehmen, die Maintainer echter Open-Source-Repositories mergen würden. Führende Modelle scheitern noch in mehr als 40% der Fälle.
12. Oktober 2026
Muse Wonder und Muse Wonder Full: ein wesentlicher Intelligenzsprung gegenüber früheren Meta-Modellen
Meta hat Muse Wonder und Muse Wonder Full veröffentlicht und erreicht Punktzahlen von 52 und 56 im Artificial Analysis Intelligence Index v4.3 bei maximaler Reasoning-Anstrengung – jeweils ein wesentlicher Gewinn gegenüber Muse Spark 1.3 (max) mit 48, bei einem Abstand zwischen den Veröffentlichungen von nur 6 Wochen
12. Oktober 2026