Subquadratic hat SubQ Snap 1.1 veröffentlicht und liegt damit gleichauf mit d1-ultra und Elephant 9B auf dem ersten Platz des Artificial Analysis Decision Index v1.0, getrieben von einer niedrigen Halluzinationsrate
SubQ Snap 1.1 ist das neue Entscheidungsmodell von @subquadratic. Es kostet $0.04 pro 1M Input-Token und unterstützt ein Kontextfenster von 384K Token, verglichen mit 32K bei d1-ultra und 16K bei Elephant 9B.
Die wichtigsten Erkenntnisse:
➤ SubQ Snap 1.1 erreicht 65 Punkte auf dem Artificial Analysis Decision Index v1.0, gleichauf mit d1-ultra und Elephant 9B: die drei Modelle liegen 8 Punkte vor dem nächsten Modell, Jev 1.14 (57).
➤ Das Ergebnis von SubQ Snap 1.1 beim AA-Omniscience-Decision wird durch eine niedrige Halluzinationsrate getrieben: seine Non-Halluzinationsrate von 86% ist nur noch von Elephant 9B (93%) übertroffen und liegt vor d1-ultra (85%). Seine Genauigkeit beträgt 20%, verglichen mit 32% bei d1-ultra und 12% bei Elephant 9B. Die Non-Halluzinationsrate ist der Anteil der Fragen, die nicht korrekt beantwortet wurden und bei denen das Modell "I don't know" wählte.
➤ SubQ Snap 1.1 erreicht 18% bei HLE-MultiChoice: gleichauf mit Elephant 9B (18%) und vor d1-ultra (15%). HLE-MultiChoice ist der nur Text umfassende Multiple-Choice-Teil von Humanity's Last Exam.
➤ SubQ Snap 1.1 kostet $30 pro 1M Aufgaben: vergleichbar mit d1-ultra ($32) und etwa das ~3.6fache der Kosten von Elephant 9B ($8.4), das ebenfalls 65 Punkte erreicht.