每个任务的总标记数衡量了模型的输入、推理和输出标记数
Exa（自动模式，动态高亮）每次任务使用 157k 个标记，比标准高亮模式的自动模式（299k）少 47%。Exa（轻量模式，动态高亮）使用 164k 个标记，减少了 45%。
动态高亮功能减少了返回给模型的搜索内容量，从而降低了令牌消耗和模型推理成本。在搜索 API 中，只有 Perplexity（低等级，127k）和 Perplexity（中等等级，137k）在每次任务中使用的令牌更少
任务中的总令牌数表示模型输入、推理和输出的令牌数量
Artificial Analysis测算,Exa auto启用Dynamic Highlights后每任务用157k token,较标准高亮的299k降低47%,lite版164k降幅45%。其机制是减少返回给模型的搜索内容,数据为该方测评口径。
Artificial Analysis · X
内容说明
原始发布及相关权利归来源方。
机器翻译 · 请以原文为准