Artificial Analysis · X来源发布时间

Subquadratic发布了SubQ Snap 1.1,在Artificial Analysis Decision Index v1.0上与d1-ultra和Elephant 9B并列第一,其驱动因素是…

Subquadratic发布了SubQ Snap 1.1,在Artificial Analysis Decision Index v1.0上与d1-ultra和Elephant 9B并列第一,其驱动因素是较低的错误率

Subquadratic发布了SubQ Snap 1.1,在Artificial Analysis Decision Index v1.0上与d1-ultra和Elephant 9B并列第一,其驱动因素是较低的错误率

SubQ Snap 1.1是来自@subquadratic的新型决策模型。其定价为每1M输入token 0.04美元,支持384K token上下文窗口,相比之下d1-ultra为32K,Elephant 9B为16K。

要点:
➤ SubQ Snap 1.1在Artificial Analysis Decision Index v1.0上得分为65,与d1-ultra和Elephant 9B持平:这三个模型比下一个模型Jev 1.14(57)领先8分。

➤ SubQ Snap 1.1的AA-Omniscience-Decision成绩由较低的错误率驱动:其86%的非错误率仅次于Elephant 9B(93%),领先于d1-ultra(85%)。其准确率为20%,相比之下d1-ultra为32%,Elephant 9B为12%。非错误率是指在未正确回答的问题中模型选择“我不知道”的比例。

➤ SubQ Snap 1.1在HLE-MultiChoice上得分为18%:与Elephant 9B(18%)持平,领先于d1-ultra(15%)。HLE-MultiChoice是Humanity's Last Exam的纯文本多项选择子集。

➤ SubQ Snap 1.1的成本为每1M任务30美元:与d1-ultra(32美元)相当,约为Elephant 9B(8.4美元)成本的3.6倍,后者的得分同为65。

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准