Liquid AIがd1-ultraをリリースし、Artificial Analysis Decision Index v1.0で第1位を獲得。ハルシネーションの減少に支えられて
d1-ultraは@liquidaiの新しい意思決定モデルで、今月初めにリリースされたd1に続くものです。価格は1M入力トークンあたり$0.042で、d1の1M入力トークンあたり$0.02と比較されます。d1と同様に、d1-ultraは入力トークンのみに対して課金されます。
主なポイント:
➤ d1-ultraはスコア65でArtificial Analysis Decision Index v1.0の首位：d1-ultraは65を記録し、最近リリースされた57のJev 1.14、および54のGLiDEとMicrosoft-Decision-1を上回る
➤ d1-ultraのスコア65は、AA-Omniscience-Decisionにおけるはるかに低いハルシネーション率によるもの：AA-Omniscience-Decisionにおけるd1-ultraの非ハルシネーション率は85%で、2%のd1と比べて大幅に上昇。非ハルシネーション率とは、正しく回答できなかった質問のうちモデルが「I don't know」を選択した割合であり、意思決定モデルがいつ回答すべきでないかを判断する自己の知識の見極め能力を測るものです。d1-ultraではハルシネーション率が低下する一方、精度(正答した質問の%)も低下しています。精度は32%を達成し、d1(41%)より9ポイント低下
➤ d1-ultraは全意思決定モデルの中で3番目に低いTime per Task: d1-ultraはタスクあたり92 msのTime per Taskを達成し、測定された意思決定モデルの中で、タスクあたり78 msのJev 1.14とタスクあたり63 msのCeleris-1 Decisionに次いで3番目に低い
➤ d1-ultraは1Mタスクあたり$32で他の意思決定モデルと同等の価格設定：1Mタスクあたり$32で、d1-ultraはCeleris-1 Decision(1Mタスクあたり$32)およびMicrosoft-Decision-1(1Mタスクあたり$31)と同程度の価格であり、1Mタスクあたり$15のd1およびMercury Decideの2倍以上だが、1Mタスクあたり$79のGPT-6 Luna (Decisions)の半分以下
