SubquadraticがSubQ Snap 1.1をリリースし、Artificial Analysis Decision Index v1.0でd1-ultraおよびElephant 9Bと同点の1位に並びました。その原動力は低いハルシネーション率です
SubQ Snap 1.1は@subquadraticの新しい決定モデルです。価格は1M入力トークンあたり0.04ドルで、384Kトークンのコンテキストウィンドウをサポートします。これはd1-ultraの32K、Elephant 9Bの16Kと比較されます。
主なポイント:
➤ SubQ Snap 1.1はArtificial Analysis Decision Index v1.0で65を獲得し、d1-ultraおよびElephant 9Bと同点です。この3モデルは次点のモデルJev 1.14(57)を8ポイント上回っています。
➤ SubQ Snap 1.1のAA-Omniscience-Decisionの結果は低いハルシネーション率によるものです。86%の非ハルシネーション率はElephant 9B(93%)に次いで2位で、d1-ultra(85%)を上回っています。正答率は20%で、d1-ultraの32%、Elephant 9Bの12%と比較されます。非ハルシネーション率とは、正しく答えられなかった質問のうちモデルが"I don't know"を選択した割合です。
➤ SubQ Snap 1.1はHLE-MultiChoiceで18%を獲得し、Elephant 9B(18%)と同水準で、d1-ultra(15%)を上回っています。HLE-MultiChoiceはHumanity's Last Examのテキストのみの選択式サブセットです。
➤ SubQ Snap 1.1のコストは1Mタスクあたり30ドルで、d1-ultra(32ドル)に匹敵し、同じ65を獲得しているElephant 9B(8.4ドル)の約3.6倍です。