Subquadratic发布了SubQ Snap 1.1,在Artificial Analysis Decision Index v1.0上与d1-ultra和Elephant 9B并列第一,其驱动因素是较低的错误率
SubQ Snap 1.1是来自@subquadratic的新型决策模型。其定价为每1M输入token 0.04美元,支持384K token上下文窗口,相比之下d1-ultra为32K,Elephant 9B为16K。
要点:
➤ SubQ Snap 1.1在Artificial Analysis Decision Index v1.0上得分为65,与d1-ultra和Elephant 9B持平:这三个模型比下一个模型Jev 1.14(57)领先8分。
➤ SubQ Snap 1.1的AA-Omniscience-Decision成绩由较低的错误率驱动:其86%的非错误率仅次于Elephant 9B(93%),领先于d1-ultra(85%)。其准确率为20%,相比之下d1-ultra为32%,Elephant 9B为12%。非错误率是指在未正确回答的问题中模型选择“我不知道”的比例。
➤ SubQ Snap 1.1在HLE-MultiChoice上得分为18%:与Elephant 9B(18%)持平,领先于d1-ultra(15%)。HLE-MultiChoice是Humanity's Last Exam的纯文本多项选择子集。
➤ SubQ Snap 1.1的成本为每1M任务30美元:与d1-ultra(32美元)相当,约为Elephant 9B(8.4美元)成本的3.6倍,后者的得分同为65。