Liquid AI가 d1-ultra를 출시하며 Artificial Analysis Decision Index v1.0에서 1위를 차지했으며, 이는 환각 감소에 힘입은 것입니다
d1-ultra는 @liquidai의 새로운 의사결정 모델로, 이번 달 초 출시된 d1의 후속작입니다. 가격은 1M 입력 토큰당 $0.042로, d1의 1M 입력 토큰당 $0.02보다 높습니다. d1과 마찬가지로 d1-ultra는 입력 토큰에 대해서만 과금됩니다.
핵심 요약:
➤ d1-ultra는 65점으로 Artificial Analysis Decision Index v1.0 선두: d1-ultra는 65점을 기록하며 최근 출시된 57점의 Jev 1.14와 54점의 GLiDE, Microsoft-Decision-1을 앞섰습니다
➤ d1-ultra의 65점은 AA-Omniscience-Decision에서 훨씬 낮은 환각률에 기인: d1-ultra의 AA-Omniscience-Decision 비환각률은 85%로, 2%인 d1에 비해 크게 상승했습니다. 비환각률은 모델이 "I don't know"를 선택한 정답이 아닌 질문의 비율로, 의사결정 모델이 답변하지 말아야 할 때를 판단하는 자기 지식에 대한 판단 능력을 측정합니다. d1-ultra의 환각률이 감소하는 동안 정확도(정답 질문 비율)도 감소했습니다. 정확도는 32%를 기록했으며, d1(41%)에 비해 9포인트 하락했습니다
➤ d1-ultra는 모든 의사결정 모델 중 세 번째로 낮은 Time per Task를 기록: d1-ultra는 태스크당 92 ms의 Time per Task를 달성했으며, 이는 측정된 의사결정 모델 중 태스크당 78 ms의 Jev 1.14와 태스크당 63 ms의 Celeris-1 Decision에 이어 세 번째로 낮은 수치입니다
➤ d1-ultra는 1M 태스크당 $32로 다른 의사결정 모델과 비슷한 가격대를 제공: 1M 태스크당 $32인 d1-ultra는 Celeris-1 Decision(1M 태스크당 $32) 및 Microsoft-Decision-1(1M 태스크당 $31)과 비슷한 가격이며, 1M 태스크당 $15인 d1 및 Mercury Decide의 두 배 이상이지만 1M 태스크당 $79인 GPT-6 Luna (Decisions)의 절반 이하입니다
