Liquid AI a publié d1-ultra, prenant la 1re place de l'Artificial Analysis Decision Index v1.0, soutenu par une réduction des hallucinations
d1-ultra est le nouveau modèle de décision de @liquidai et fait suite à la sortie de d1 plus tôt ce mois-ci. Il est proposé au prix de $0.042 par 1M de tokens d'entrée, contre $0.02 par 1M de tokens d'entrée pour d1. Comme d1, d1-ultra est facturé uniquement sur les tokens d'entrée.
Points clés :
➤ d1-ultra domine l'Artificial Analysis Decision Index v1.0 avec un score de 65 : d1-ultra obtient 65, devant Jev 1.14 récemment publié à 57 et GLiDE et Microsoft-Decision-1 à 54
➤ Le score de 65 de d1-ultra s'explique par un taux d'hallucination bien plus faible sur AA-Omniscience-Decision : le taux de non-hallucination de d1-ultra sur AA-Omniscience-Decision est de 85%, en forte hausse par rapport à d1 à 2%. Le taux de non-hallucination est la part des questions mal répondues où le modèle a choisi "I don't know" et mesure la capacité d'un modèle de décision à juger ses propres connaissances en sachant quand ne pas répondre. Tandis que le taux d'hallucination de d1-ultra diminue, sa précision (% de questions correctes) baisse aussi. Elle atteint 32%, en baisse de 9 points par rapport à d1 (41%)
➤ d1-ultra affiche le troisième temps par tâche le plus bas de tous les modèles de décision : d1-ultra atteint un temps par tâche de 92 ms, le troisième plus bas des modèles de décision mesurés, derrière Jev 1.14 à 78 ms par tâche et Celeris-1 Decision à 63 ms par tâche
➤ d1-ultra offre des tarifs comparables à ceux des autres modèles de décision à $32 par 1M de tâches : à $32 par 1M de tâches, d1-ultra est tarifé au même niveau que Celeris-1 Decision ($32 par 1M de tâches) et Microsoft-Decision-1 ($31 par 1M de tâches), plus du double du prix de d1 et Mercury Decide à $15 par 1M de tâches, mais moins de la moitié du prix de GPT-6 Luna (Decisions) à $79 par 1M de tâches
