Subquadratic가 SubQ Snap 1.1을 출시하며, Artificial Analysis Decision Index v1.0에서 d1-ultra 및 Elephant 9B와 공동 1위를 기록했습니다. 낮은 환각률이 그 원인입니다
SubQ Snap 1.1은 @subquadratic의 새로운 의사결정 모델입니다. 가격은 1M 입력 토큰당 $0.04이며, 384K 토큰 컨텍스트 윈도우를 지원합니다. 이는 d1-ultra의 32K, Elephant 9B의 16K와 비교됩니다.
주요 시사점:
➤ SubQ Snap 1.1은 Artificial Analysis Decision Index v1.0에서 65점을 기록하며 d1-ultra 및 Elephant 9B와 공동 1위입니다: 세 모델은 다음 모델인 Jev 1.14(57)보다 8점 앞서 있습니다.
➤ SubQ Snap 1.1의 AA-Omniscience-Decision 결과는 낮은 환각률에 기인합니다: 86%의 비환각률은 Elephant 9B(93%)에 이어 두 번째이며, d1-ultra(85%)보다 앞섭니다. 정확도는 20%로, d1-ultra의 32%, Elephant 9B의 12%와 비교됩니다. 비환각률은 정답을 맞히지 못한 질문 중 모델이 "모르겠습니다"를 선택한 비율입니다.
➤ SubQ Snap 1.1은 HLE-MultiChoice에서 18%를 기록했습니다: Elephant 9B(18%)와 동등하며 d1-ultra(15%)보다 앞섭니다. HLE-MultiChoice는 Humanity's Last Exam의 텍스트 전용 객관식 하위 집합입니다.
➤ SubQ Snap 1.1의 비용은 1M 태스크당 $30입니다: d1-ultra($32)와 비슷하며, 동일한 65점을 기록하는 Elephant 9B($8.4) 대비 약 3.6배입니다.