Google a publié son premier modèle de décision, Gemini Decision 1, obtenant un score de 66 sur l'Artificial Analysis Decision Index et dominant dans les benchmarks de connaissance et de raisonnement
Gemini Decision 1 de @GoogleDeepMind obtient un score de 66 sur l'Artificial Analysis Decision Index v2.1, au niveau d'Elephant 9B (@baselabs) et de Jev 1.14 (@typesafeai), et à 7 points derrière les leaders Drex Max v1.1 (@NaceAI) et GLiDE v1.2 (@fastinoAI), qui obtiennent tous deux un score de 73. Il est proposé à $0.10 par 1M de tokens d'entrée et coûte $345 par 1M de Tasks sur l'Index, soit environ trois fois plus que Drex Max v1.1 ($103) en raison de son tarif plus élevé
Principaux résultats pour Gemini Decision 1 :
➤ Pas encore à la frontière sur le Decision Index : Gemini Decision 1 obtient un score de 66 sur l'Artificial Analysis Decision Index. Il domine les benchmarks de connaissance et de raisonnement, avec un score de 66 sur AA-Omniscience-Decision et de 49 sur HLE-MultiChoice. Il est en retrait sur d'autres évaluations, notamment notre nouveau benchmark propriétaire de classification et d'extraction AA-Paperclip, où il répond correctement aux 15 questions sur 33 % des documents, contre 63 % pour Drex Max v1.1
➤ Plus de 3 fois le Cost per Task des modèles leaders : Gemini Decision 1 coûte $345 par 1M de Tasks, contre $103 pour Drex Max v1.1 et $156 pour Jev 1.14. Cette différence s'explique par son prix par token de $0.10 par 1M de tokens d'entrée, contre $0.03 pour Drex Max v1.1. Gemini Decision 1 a un Cost per 1M Tasks similaire à celui de GPT-6 Luna (Decisions, $339)
➤ Calibration solide pour les tâches de raisonnement : nous mesurons la calibration avec le Brier score, l'écart quadratique moyen entre la probabilité qu'un modèle attribue à sa réponse choisie et le fait que cette réponse soit correcte (plus bas est meilleur). Gemini Decision 1 a un Brier score de 0.18 sur l'ensemble de l'Index, entre Drex Max v1.1 (0.16) et Jev 1.14 (0.19). La calibration varie selon les tâches : avec un Brier score de 0.20 sur HLE-MultiChoice, il figure parmi les plus bas de tous les modèles de l'Index, tandis que son 0.14 sur When2Call se compare à 0.04 pour Drex Max v1.1