Subquadratic a publié SubQ Snap 1.1, à égalité avec d1-ultra et Elephant 9B à la première place de l'Artificial Analysis Decision Index v1.0, porté par un faible taux d'hallucination
SubQ Snap 1.1 est le nouveau modèle de décision de @subquadratic. Il est proposé au prix de 0,04 $ par 1M de tokens d'entrée et prend en charge une fenêtre de contexte de 384K tokens, contre 32K pour d1-ultra et 16K pour Elephant 9B.
Points clés :
➤ SubQ Snap 1.1 obtient un score de 65 sur l'Artificial Analysis Decision Index v1.0, à égalité avec d1-ultra et Elephant 9B : les trois modèles ont 8 points d'avance sur le modèle suivant, Jev 1.14 (57).
➤ Le résultat AA-Omniscience-Decision de SubQ Snap 1.1 est porté par un faible taux d'hallucination : son taux de non-hallucination de 86 % n'est dépassé que par Elephant 9B (93 %), devant d1-ultra (85 %). Sa précision est de 20 %, contre 32 % pour d1-ultra et 12 % pour Elephant 9B. Le taux de non-hallucination est la part des questions auxquelles le modèle n'a pas répondu correctement et où il a choisi "Je ne sais pas".
➤ SubQ Snap 1.1 obtient 18 % sur HLE-MultiChoice : au niveau d'Elephant 9B (18 %) et devant d1-ultra (15 %). HLE-MultiChoice est le sous-ensemble à choix multiples textuel de Humanity's Last Exam.
➤ SubQ Snap 1.1 coûte 30 $ par 1M de tâches : comparable à d1-ultra (32 $), et environ 3,6x le coût d'Elephant 9B (8,4 $), qui obtient le même score de 65.