Liquid AI hat d1-ultra veröffentlicht und übernimmt den Platz #1 auf dem Artificial Analysis Decision Index v1.0, unterstützt durch eine Verringerung der Halluzinationen
d1-ultra ist das neue Entscheidungsmodell von @liquidai und folgt auf die Veröffentlichung von d1 früher in diesem Monat. Es kostet $0.042 pro 1M Eingabetokens, verglichen mit $0.02 pro 1M Eingabetokens für d1. Wie d1 wird d1-ultra nur auf Basis der Eingabetokens abgerechnet.
Zentrale Erkenntnisse:
➤ d1-ultra führt den Artificial Analysis Decision Index v1.0 mit einem Wert von 65 an: d1-ultra erreicht 65, vor dem kürzlich veröffentlichten Jev 1.14 mit 57 sowie GLiDE und Microsoft-Decision-1 mit 54
➤ d1-ultras Wert von 65 wird durch eine deutlich niedrigere Halluzinationsrate bei AA-Omniscience-Decision getragen: d1-ultras Nicht-Halluzinationsrate bei AA-Omniscience-Decision liegt bei 85%, deutlich höher als bei d1 mit 2%. Die Nicht-Halluzinationsrate ist der Anteil der Fragen, die nicht richtig beantwortet wurden, bei denen das Modell "I don't know" wählte, und misst, wie gut ein Entscheidungsmodell sein eigenes Wissen beurteilen kann, um zu wissen, wann es nicht antworten sollte. Während d1-ultras Halluzinationsrate sinkt, sinkt auch seine Genauigkeit (% richtiger Antworten). Es erreicht eine Genauigkeit von 32%, 9 Punkte niedriger als d1 (41%)
➤ d1-ultra bietet die drittniedrigste Zeit pro Aufgabe aller Entscheidungsmodelle: d1-ultra erreicht eine Zeit pro Aufgabe von 92 ms, die drittniedrigste der gemessenen Entscheidungsmodelle, hinter Jev 1.14 mit 78 ms pro Aufgabe und Celeris-1 Decision mit 63 ms pro Aufgabe
➤ d1-ultra bietet vergleichbare Preise wie andere Entscheidungsmodelle bei $32 pro 1M Aufgaben: Mit $32 pro 1M Aufgaben ist d1-ultra preislich vergleichbar mit Celeris-1 Decision ($32 pro 1M Aufgaben) und Microsoft-Decision-1 ($31 pro 1M Aufgaben), mehr als doppelt so teuer wie d1 und Mercury Decide mit $15 pro 1M Aufgaben, aber weniger als halb so teuer wie GPT-6 Luna (Decisions) mit $79 pro 1M Aufgaben
