Artificial Analysis Decision Index v1.0
L'Artificial Analysis Decision Index évalue les modèles de décision, une nouvelle catégorie de modèles qui répondent à des décisions structurées en un seul appel avec une probabilité pour chaque option. La version 1.0 combine quatre évaluations portant sur la classification, l'appel d'outils, les connaissances, l'hallucination et le raisonnement.
Classement du Decision IndexLire la méthodologieCeci est l'article de lancement d'origine et présente les résultats de l'Artificial Analysis Decision Index au moment du lancement. Pour les résultats en direct sur les derniers modèles, consultez le classement de l'Artificial Analysis Decision Index.Présentation de l'Artificial Analysis Decision Index
Les modèles de décision sont une catégorie émergente de modèles qui produisent des réponses structurées ou des classifications avec des probabilités associées. Contrairement aux modèles de langage conçus pour le raisonnement complexe et les tâches de longue haleine, les modèles de décision se concentrent sur la prise de décisions structurées plus rapidement et à moindre coût.
Avec le lancement de l'Artificial Analysis Decision Index v1.0, nous visons à aider les développeurs et les entreprises à comprendre les compromis entre capacité, coût et vitesse des modèles de décision, tant par rapport aux autres modèles de décision qu'aux modèles de langage.
État
« À l'aide ! Mes paiements échouent depuis 3 jours et mon loyer est dû demain. C'est inacceptable. »
Questions
- ChoiceÉquipe vers laquelle router
- Yes/NonUrgent ?
- ScoreÀ quel point furieux ?
Modèle de décision
Toutes les questions en un seul appel, avec une probabilité pour chaque option
Équipe vers laquelle router
FacturationTechniqueCompteUrgent ?
OuiNonÀ quel point furieux ?
CalmeFrustréEn colèreModèle de langage
Génère une sortie structurée
Les modèles de décision choisissent parmi un ensemble fixe d'options, avec une probabilité pour chacune, en un seul appel. Cela les rend peu coûteux et rapides, et nous permet de mesurer leur calibration.
Ce que mesure le Decision Index
Au lancement, l'Artificial Analysis Decision Index combine quatre évaluations couvrant la classification, l'appel d'outils, les connaissances, les hallucinations et le raisonnement :
Connaissances et hallucinationsAA-Omniscience-Decision500 questions privées adaptées de notre benchmark de connaissances et d'hallucinations AA-Omniscience. Chacune propose cinq options : quatre réponses, dont une correcte, et « Je ne sais pas ».
25 % de l'indice : taux de précision et de non-hallucination, 12,5 % chacun
RaisonnementHLE-MultiChoiceLes 513 questions à choix multiples textuelles de Humanity's Last Exam, chacune posée comme un choix parmi ses réponses lettrées.
25 % de l'indice
Appel d'outilsWhen2CallL'évaluation d'appel d'outils de NVIDIA. Étant donné une conversation et un ensemble d'outils, le modèle choisit s'il doit répondre directement, appeler un outil, demander plus d'informations ou dire qu'il ne peut pas répondre.
25 % de l'indice
ClassificationWildGuardTestL'ensemble de test de classification de sécurité d'Ai2. Le modèle détermine si la demande d'un utilisateur est nocive, si la réponse d'un assistant est un refus et si cette réponse est nocive.
25 % de l'indice
Nous exécutons également chaque évaluation sur des LLM. Un LLM répond avec une sortie structurée qui nomme l'option choisie, il ne donne donc aucune probabilité pour chaque option.
Résultats des modèles de décision
Jev 1.13 mène l'indice de décision avec 58, devant GLiDE et Microsoft-Decision-1, tous deux à 54. Jev 1.13 surpasse les autres modèles de décision sur le benchmark de raisonnement HLE-MultiChoice, avec un score de 21 là où les autres modèles obtiennent 15 ou moins. Sur le benchmark de connaissances et d'hallucination AA-Omniscience-Decision, Jev 1.13 obtient un score de précision de 35, inférieur à la plupart des modèles de décision et au meilleur score de 41 de d1 de Liquid AI, mais il affiche le deuxième taux de non-hallucination le plus élevé, 35, là où d1 n'obtient que 2. Sur le benchmark d'appel d'outils When2Call, Jev 1.13 obtient 81, en quatrième position, tandis que Celeris-1 Decision et GLiDE de Fastino Labs mènent tous deux à 84. Il obtient 94 sur le benchmark de classification WildGuardTest, à égalité avec Decider v1.1 27B de Perplexity et à un point derrière GLiDE à 95.
Artificial Analysis Decision Index
Moyenne pondérée de AA-Omniscience-Decision, HLE-MultiChoice, When2Call et WildGuardTest · Plus élevé est mieux Inclure les modèles de langageEfficacité en coût et en temps des modèles de décision
Les modèles de décision varient considérablement en coût et en vitesse. Les coûts vont de 17 $ à 199 $ par million de tâches, et les temps médians de 0,06 à 0,5 seconde par tâche.
Artificial Analysis Decision Index vs. Coût par 1M de tâches
Score de l'Artificial Analysis Decision Index vs. coût moyen par 1 million de tâches (USD) · Plus bas est mieux Inclure les modèles de langageQuadrant le plus attractifLigne de ParetoCoût moyen par tâche aux prix actuels des tokens, multiplié par 1 million ; pour l'indice, le coût d'un passage through toutes ses évaluations divisé par leurs tâches combinées, multiplié par 1 million. Les modèles de décision sont facturés uniquement pour les tokens d'entrée, et les modèles de langage pour les tokens d'entrée et de sortie.
Decider v1.1 27B a le coût le plus bas par 1M de tâches, à 17 $, avec Microsoft-Decision-1 (31 $) et Jev 1.13 (42 $) également sur la frontière de Pareto capacité vs. coût. GLiDE obtient 54, au niveau de Microsoft-Decision-1, mais coûte 119 $, soit environ trois fois plus que Jev 1.13. Celeris-1 Decision a le temps par tâche le plus rapide, à 0,06 seconde, plus de deux fois plus rapide que Jev 1.13 à 0,13 seconde.
Artificial Analysis Decision Index : Temps par tâche
Temps médian par tâche sur chaque tâche de toutes les évaluations de l'Artificial Analysis Decision Index · Plus bas est mieux Inclure les modèles de langageLatence médiane par tâche, en millisecondes ; pour l'indice, la médiane sur les tâches de toutes ses évaluations.
Les modèles de décision sont trop confiants
Les modèles de décision donnent une probabilité pour chaque option, ce qui nous permet de vérifier si la probabilité qu'un modèle a attribuée à sa réponse choisie correspond à la fréquence à laquelle il a raison. Dans l'ensemble, sur presque tous les niveaux de probabilité, la précision est inférieure à cette probabilité pour tous les modèles de décision. Cela s'explique par un calibrage relativement médiocre sur les tâches de connaissances et de raisonnement dans HLE-MultiChoice et AA-Omniscience-Decision. En comparaison, la plupart des modèles de décision sont relativement bien calibrés sur When2Call (appel d'outils) et WildGuardTest (classification).
Calibrage de l'Artificial Analysis Decision Index
Précision des réponses par rapport à la probabilité que le modèle a donnée à sa réponse choisie, regroupée par dixièmes de cette probabilité, chaque benchmark pondéré égalementCalibrage pour les modèles de langage bientôt disponible.
Comment les modèles de décision se comparent aux LLM
Les modèles de décision offrent des avantages significatifs en vitesse et en coût par rapport aux modèles de langage, mais sont en retrait sur le savoir et le raisonnement. Claude Haiku 5.5 (Low) obtient 61 au Decision Index, 3 points de plus que Jev 1.13, mais prend 1.4 seconde par tâche contre 0.13 seconde (11 fois plus lent) et coûte 184 $ par million de tâches contre 42 $ (4.4 fois plus cher). GPT-6 Luna (Low) obtient 55, en dessous de Jev 1.13, à 1.5 seconde par tâche et 131 $ par million de tâches.
Les modèles de langage dominent en savoir : sur la précision AA-Omniscience-Decision, Claude Haiku 5.5 (Low) obtient 52 et GPT-6 Luna (Low) 66, contre 28 à 41 pour les modèles de décision. Sur HLE-MultiChoice, ils obtiennent 24 et 22, contre 21 pour Jev 1.13 et 15 ou moins pour tous les autres modèles de décision.
En classification et appel d'outils, les modèles de décision de pointe obtiennent des performances comparables. Sur WildGuardTest, GLiDE obtient 95, Decider v1.1 27B et Jev 1.13 obtiennent 94, contre 93 pour Claude Haiku 5.5 (Low) et 89 pour GPT-6 Luna (Low). Sur When2Call, Celeris-1 Decision et GLiDE obtiennent 84, contre 77 pour GPT-6 Luna (Low) et 73 pour Claude Haiku 5.5 (Low).
Artificial Analysis Decision Index
Moyenne pondérée de AA-Omniscience-Decision, HLE-MultiChoice, When2Call et WildGuardTest · Plus élevé est meilleurInclure les modèles de langageModèle de décisionModèle de langageIndice de décision d'Artificial Analysis vs. coût par 1M de tâches
Score de l'Artificial Analysis Decision Index vs. coût moyen par 1 million de tâches (USD) · Plus bas est meilleurInclure les modèles de langageQuadrant le plus attractifLigne de ParetoCoût moyen par tâche aux prix actuels des tokens, multiplié par 1 million ; pour l'index, le coût d'un passage sur l'ensemble de ses évaluations divisé par leur total combiné de tâches, multiplié par 1 million. Les modèles de décision sont facturés uniquement pour les tokens d'entrée, et les modèles de langage pour les tokens d'entrée et de sortie.
Savoir quand ne pas répondre
Chaque question de AA-Omniscience-Decision propose « I don't know » (je ne sais pas), et le taux de non-hallucination est la part des questions auxquelles un modèle n'a pas répondu correctement où il a choisi cette option. Microsoft-Decision-1 mène les modèles de décision à 40 %, suivi de Jev 1.13 à 35 % et Mercury Decide à 32 %. Aucun autre modèle de décision n'atteint 17 %.
AA-Omniscience-Decision : taux de non-hallucination
Part des questions sans réponse correcte où le modèle a choisi « I don't know » (je ne sais pas) · Plus élevé est meilleurInclure les modèles de langageExplorer davantage
- Les scores en direct des derniers modèles sont disponibles sur la page de l'Artificial Analysis Decision Index
- La page de méthodologie détaille comment nous posons et notons chaque évaluation
- Chacune des quatre évaluations a son propre classement : AA-Omniscience-Decision, HLE-MultiChoice, When2Call, et WildGuardTest
- Pour ajouter un modèle de décision à l'index, contactez-nous à decision-models@artificialanalysis.ai
Lire les dernières publications
Annonce de AA-3D : un benchmark pour les modèles d'IA construisant des expériences 3D interactives
AA-3D est un nouveau benchmark évaluant la capacité des modèles d'IA à construire des expériences 3D interactives. Chaque modèle transforme un brief écrit en une scène three.js fonctionnelle dans un bac à sable hors ligne, et notre panel recruté compare les scènes lors de votes par paires en aveugle.
12 octobre 2026
Annonce de FrontierCode sur Artificial Analysis : les modèles d'IA peuvent-ils écrire du code que des mainteneurs accepteraient ?
Le FrontierCode 1.1 de Cognition teste si les modèles d'IA apportent des modifications de code que les mainteneurs de dépôts open source réels accepteraient. Les modèles de pointe échouent encore plus de 40 % du temps.
12 octobre 2026
Muse Wonder et Muse Wonder Full : un bond considérable d'intelligence par rapport aux précédents modèles de Meta
Meta a publié Muse Wonder et Muse Wonder Full, obtenant des scores de 52 et 56 à l'Artificial Analysis Intelligence Index v4.3 au niveau de raisonnement maximal - chacun représentant un gain considérable par rapport à Muse Spark 1.3 (max) à 48, avec un intervalle de publication de seulement 6 semaines
12 octobre 2026