Artificial Analysis · X

各提供商的缓存命中率与每任务成本现已在 Artificial Analysis 上线:GLM-5.3 (max) 的每任务成本在不同提供商之间相差约9倍……

Artificial Analysis上线各端点实测缓存命中率与按提供商Cost per Task:GLM-5.3 (max)成本相差~9x,从$0.92到$8.68。数据源自多轮智能体编程任务实测,结论受其测试条件限制。

配图来源 · Artificial Analysis · X

各提供商的缓存命中率与每任务成本现已在 Artificial Analysis 上线:GLM-5.3 (max) 的每任务成本在不同提供商之间相差约9倍,这一差距由缓存命中率和 token 定价共同造成

智能体工作负载每轮都会重发完整对话历史,因此大多数输入 token 是可缓存的,而缓存定价和缓存命中率是每任务成本差距的主要来源。我们已经在计算每任务成本时使用实测的缓存命中率,现在将对我们跟踪的每个模型端点发布这些数据。

新增内容:
➤ 现在所有第一方和第三方端点的缓存命中率均可见,通过运行多轮智能体编码任务并读取每个提供商 usage 响应中的缓存 token 数量来测量。缓存命中率是从缓存中提供的可缓存输入 token 的占比。
➤ 开放权重模型的每任务成本现可按提供商查看,根据每个提供商的输入、输出、缓存命中和缓存写入价格,并按其实测缓存命中率计算。为了在同一模型的不同提供商之间进行标准化,我们使用该模型 Intelligence Index 运行中相同的输入、输出和可缓存 token 数量。

主要结论:
➤ GLM-5.3 (max) 的每任务成本在各提供商之间相差约9倍,从 Makora 的0.92美元到 Nebius 的8.68美元。两者几乎都从缓存提供所有可缓存输入(98%和100%),且输出价格相同(每1M token 4.40美元),因此差距来自输入定价:Makora 对每1M缓存输入 token 收费0.10美元,而 Nebius 在其共享无服务器端点上不提供缓存输入折扣,所有输入均按1.40美元的全价计费。
➤ 在21个提供商(25个端点)中,缓存命中率从41%到100%不等。15个端点达到98%或以上,其中八个达到100%:Modal、DeepInfra、Parasail、Together AI、DigitalOcean、Nebius、Novita 以及 Z AI 的第一方 API。Multiverse Computing 最低,为41%,其次是 Bitdeer 的50%。

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准