Cohere AI 已发布 Rerank 5,这是一个新的重排序模型家族,分为 Pro 和 Fast 两个版本。Cohere Rerank 5 是一种检索模型,用于在搜索结果到达 LLM 之前对其进行重新排序。它新增了 2 项开发者功能:Context Focus(返回每个文档中的相关段落)和校准后的相关性评分。对于 RAG 和智能体开发者来说,信息很简单:向 LLM 发送更少、更优质的 tokens。
要点速览
- 规模: 参数数量未公开。32K token 上下文窗口。两个版本:
rerank-v5.0-pro和rerank-v5.0-fast. - 运行环境: 托管 API、Model Vault、Microsoft Foundry、Amazon SageMaker,或私有 VPC 和本地部署。Cohere 在单块 NVIDIA A100 上测试速度。无开源权重或量化版本。
- 性能: 在 Cohere 自己的评估中,Pro 在 46 个综合数据集中的 39 个上排名第一。
- 最佳表现: Pro 在 BRIGHT(RCP-nDCG@10)上得分 82.2,比 Voyage AI Rerank 3 高出 5.8 分。
- 最差表现: Pro 每个 96 文档请求的中位延迟为 11.7 秒,而 Fast 为 4.1 秒。
Cohere Rerank 5 有哪些新特性?
Rerank 5 以两个模型发布。 Pro 面向排名质量 ,针对推理密集型查询和长篇、领域特定文档。Fast 面向低延迟和高吞吐量,适用于运行大量搜索的智能体。
两个模型均支持超过 100 种语言和 32K 上下文窗口。它们还能对 JSON、表格和 YAML 记录等半结构化数据进行重排序。升级无需重新索引。开发者只需更改 model 参数,即可保留现有的关键词、向量或混合搜索。
Context Focus 如何工作?
Context Focus 是一项可选功能,默认关闭。单次 Rerank 调用会返回文档评分以及已评分的字符区间。每个区间携带 start 和 end 相对于原始文本的偏移量。开发者通过 relevant_spans 字段进行设置,并使用 threshold 和 max_spans 值。
Cohere 在30个QA数据集上进行了测试。移除一半检索文本仍保持96%的回答质量。移除四分之三仍保持87%。Cohere表示,团队可以在付出一定质量代价的情况下将上下文压缩至原来的10分之一。
在一项跨越17个数据集的搜索代理测试中,仅使用BM25得到46%的准确率。加入Rerank 5 Pro后提升至49%。Context Focus在默认0.1阈值下将每任务token减少了19%,达到57%。在0.4时,token减少34%,准确率达到58%。与仅使用BM25相比,完整技术栈使用的token减少了35%。在6个深度搜索基准上,token减少41%,准确率从39%升至52%。
经过校准的相关性分数能带来什么改变?
Rerank 5的分数可解读为概率。0.7的分数表示文档有70%的概率是有用的。
Cohere团队将预期校准误差(ECE)与盲测人类评分员和NIST TREC-DL评估员进行了对比测量。Rerank 5在两者上的分数约为0.06。Voyage AI Rerank 3的分数为0.234和0.307。Rerank 4 Pro的分数为0.384和0.309。在实际应用中,开发团队可以按阈值过滤,而不是固定取前k个结果。代理还可以检测何时没有返回任何相关内容。
Rerank 5在基准测试中的表现如何?
以下所有分数均为Cohere使用 RCP-nDCG@10自行报告,这是Cohere开发的nDCG变体。竞品模型由Cohere自行运行测试。
Pro在全部四项主要基准上领先。它得分为92.2,所用基准为 ViDoRe V3,得分为90.4,所用基准为 BEIR,得分为82.2 BRIGHT 上得分82.2,在nanoMTEB上得分87.3。BRIGHT上的提升最大:比Rerank 4 Pro高出12.4分。
Fast在全部4项基准上胜过Voyage AI Rerank 3 Lite、Qwen3-Reranker-8B和Rerank 4 Pro。它在ViDoRe V3上与Voyage AI Rerank 3以90.6打平。它在BEIR上落后于后者,88.1对88.6。
在解析后的PDF上,对47个数据集取平均值,Pro得分89.9,Fast得分88.5。Voyage AI Rerank 3得分88.4。在Cohere内部测试套件的19种非英语语言中,Pro在14种语言上排名第一。
Rerank 5与竞争重排序器相比表现如何?
| 功能 | Cohere Rerank 5 Pro | Cohere Rerank 5 Fast | Voyage AI rerank-3 | Voyage AI rerank-3-lite | Qwen3-Reranker-8B |
|---|---|---|---|---|---|
| 参数 | 未披露 | 未披露 | 未披露 | 未披露 | 8B |
| 上下文窗口 | 32K | 32K | 32,000 | 32,000 | 32K |
| 语言 | 100+ | 100+ | 未披露 | 未披露 | 100+ |
| 许可 / 访问方式 | 专有 API、VPC、本地部署 | 专有 API、VPC、本地部署 | 专有 API | 专有 API | Apache 2.0 开放权重 |
| 每 1M tokens 的 API 价格 | $0.05 | $0.02 | $0.05 | $0.02 | 自托管 |
| 段落抽取 | Context Focus | Context Focus | 未披露 | 未披露 | 未披露 |
| BRIGHT* | 82.2 | 77.5 | 76.4 | 69.4 | 69.8 |
| ViDoRe V3* | 92.2 | 90.6 | 90.6 | 87.9 | 85.1 |
| BEIR* | 90.4 | 88.1 | 88.6 | 86.1 | 83.8 |
| nanoMTEB* | 87.3 | 85.1 | 83.9 | 80.7 | 82.1 |
| ECE、人类评审*（越低越好） | 0.058 | 0.058 | 0.234 | 0.226 | 未披露 |
*分数为 RCP-nDCG@10 或来自 Cohere 的 Rerank 5 帖子，由 Cohere 测量。未经独立验证。
开发者如何部署 Rerank 5？
Rerank 5现已在 Cohere API 和 模型库。它还可以在 Microsoft Foundry（Pro, 快速）和 Amazon SageMaker（Pro, 快速）。所有 North 用户也可使用。API 定价为 Pro 每 1M token 0.05 美元，Fast 为 0.02 美元。Model Vault 列出了 每实例小时4.00美元 针对其 Medium 层级中的两个层级。
集成包括 LangChain、Haystack、Elasticsearch 和 Weaviate，据 Cohere 的 集成文档.
要点速览
- Rerank 5 以 Pro（每 1M tokens 0.05 美元）和 Fast（0.02 美元）两个版本发布，均支持 32K 上下文。
- Pro 在 BRIGHT 上得分 82.2，比 Voyage AI Rerank 3 高出 5.8 分。
- Context Focus 通过 1 次调用返回带分数的段落，将 agent token 消耗降低 35% 至 41%。
- 校准后的分数 ECE 约为 0.06，因此 1 个阈值即可跨领域通用。
- 所有基准测试均基于 Cohere 的 RCP-nDCG@10 指标自行报告。
请查看 官方公告、 Rerank 5 更新日志 以及 完整结果表。所有功劳归于该项目的研究者。此外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的通讯。等等！你用Telegram吗？ 现在你也可以在Telegram上加入我们了。
需要与我们合作推广你的GitHub Repo、Hugging Face页面、产品发布、网络研讨会等吗？ 与我们联系