Cohere AI가 출시했다 Rerank 5는 Pro 및 Fast 티어로 구성된 새로운 리랭커 계열입니다. Cohere Rerank 5는 검색 결과가 LLM에 도달하기 전에 이를 재정렬하는 검색 모델입니다. 여기에는 2가지 개발자 기능이 추가되었습니다. 각 문서 내 관련 문단을 반환하는 Context Focus와 보정된 관련성 점수입니다. RAG 및 에이전트 빌더를 위한 메시지는 간단합니다. 더 적고 더 나은 토큰을 LLM에 전달하라는 것입니다.
TL;DR
- 크기: 파라미터 수는 공개되지 않았습니다. 32K 토큰 컨텍스트 윈도우. 두 가지 티어:
rerank-v5.0-pro그리고rerank-v5.0-fast. - 실행 환경: 호스티드 API, Model Vault, Microsoft Foundry, Amazon SageMaker, 또는 프라이빗 VPC 및 온프레미스. Cohere는 단일 NVIDIA A100 기준으로 속도를 벤치마크합니다. 공개 가중치나 양자화 빌드는 없습니다.
- 성능: Cohere 자체 평가에서 Pro는 46개 복합 데이터셋 중 39개에서 1위를 차지했습니다.
- 최고: Pro는 BRIGHT(RCP-nDCG@10)에서 82.2점을 기록했으며, 이는 Voyage AI Rerank 3보다 5.8점 높은 수치입니다.
- 최저: Pro의 중앙값 지연 시간은 96개 문서 요청당 11.7초인 반면, Fast는 4.1초입니다.
Cohere Rerank 5의 새로운 점은 무엇인가?
Rerank 5는 두 개의 모델로 출시됩니다. Pro는 추론이 많은 쿼리 와 길고 도메인 특화적인 문서에서 랭킹 품질을 목표로 합니다. Fast는 많은 검색을 수행하는 에이전트를 위해 낮은 지연 시간과 높은 처리량을 목표로 합니다.
두 모델 모두 100개 이상의 언어와 32K 컨텍스트 윈도우를 지원합니다. 또한 JSON, 테이블, YAML 레코드와 같은 반정형 데이터도 리랭킹합니다. 업그레이드에는 재인덱싱이 필요하지 않습니다. 개발자는 model 파라미터를 변경하고 기존의 키워드, 벡터 또는 하이브리드 검색을 유지하면 됩니다.
Context Focus는 어떻게 작동하는가?
Context Focus는 기본적으로 꺼져 있는 선택적 기능입니다. 단일 Rerank 호출이 문서 점수와 함께 점수화된 문자 범위를 반환합니다. 각 범위는 원본 텍스트에 대한 start 및 end 오프셋을 포함합니다. 개발자는 relevant_spans 필드를 통해 이를 설정하며, threshold 및 max_spans 값을 지정합니다.
Cohere 30개 QA 데이터셋에서 테스트했습니다. 검색된 텍스트의 절반을 제거해도 답변 품질의 96%가 유지되었습니다. 4분의 3을 제거해도 87%가 유지되었습니다. Cohere는 팀들이 일정 품질 비용을 감수하고 10배 적은 컨텍스트까지 사용할 수 있다고 말합니다.
17개 데이터셋에 걸친 검색 에이전트 테스트에서 BM25 단독은 46% 정확도를 기록했습니다. Rerank 5 Pro를 추가하면 49%로 상승했습니다. 기본 0.1 임계값의 Context Focus는 태스크당 토큰을 19% 줄이고 57%에 도달했습니다. 0.4에서는 토큰이 34% 감소하고 정확도가 58%에 도달했습니다. BM25 단독 대비 전체 스택은 토큰을 35% 적게 사용했습니다. 6개 딥서치 벤치마크에서는 토큰이 41% 감소하고 정확도는 39%에서 52%로 상승했습니다.
보정된 관련성 점수는 무엇을 바꾸는가?
Rerank 5 점수는 확률로 읽힙니다. 0.7 점수는 문서가 유용할 확률이 70%임을 의미합니다.
Cohere 팀은 맹검 인간 평가자 및 NIST TREC-DL 평가자와 비교하여 기대 보정 오차(ECE)를 측정했습니다. Rerank 5는 양쪽 모두에서 약 0.06을 기록합니다. Voyage AI Rerank 3은 0.234 및 0.307을 기록합니다. Rerank 4 Pro는 0.384 및 0.309를 기록합니다. 실무에서 개발 팀은 고정 top-k 대신 임계값으로 필터링할 수 있습니다. 에이전트는 관련된 결과가 없을 때도 이를 감지할 수 있습니다.
Rerank 5는 벤치마크에서 어떤 성능을 보이는가?
아래의 모든 점수는 Cohere가 자체 보고한 것으로, RCP-nDCG@10즉, Cohere가 개발한 nDCG 변형 지표를 사용합니다. 경쟁 모델은 Cohere가 직접 실행했습니다.
Pro는 네 가지 주요 벤치마크 전부에서 선두입니다. 점수는 92.2점을 ViDoRe V3, 90.4점을 BEIR, 82.2점을 BRIGHT 에서 82.2, 그리고 nanoMTEB에서 87.3을 기록했습니다. BRIGHT에서 가장 큰 도약을 보이며 Rerank 4 Pro보다 12.4점 높습니다.
Fast는 4개 전부에서 Voyage AI Rerank 3 Lite, Qwen3-Reranker-8B 및 Rerank 4 Pro를 능가합니다. ViDoRe V3에서는 90.6으로 Voyage AI Rerank 3과 동률입니다. BEIR에서는 88.1 대 88.6으로 뒤집니다.
파싱된 PDF에서 47개 데이터셋 평균으로 Pro는 89.9, Fast는 88.5를 기록합니다. Voyage AI Rerank 3은 88.4입니다. Cohere의 내부 스위트에서 Pro는 19개 비영어 언어 중 14개에서 1위를 차지했습니다.
Rerank 5는 경쟁 리랭커와 비교하면 어떠한가?
| 기능 | Cohere Rerank 5 Pro | Cohere Rerank 5 Fast | Voyage AI rerank-3 | Voyage AI rerank-3-lite | Qwen3-Reranker-8B |
|---|---|---|---|---|---|
| 파라미터 | 미공개 | 미공개 | 미공개 | 미공개 | 8B |
| 컨텍스트 윈도우 | 32K | 32K | 32,000 | 32,000 | 32K |
| 언어 | 100+ | 100+ | 미공개 | 미공개 | 100+ |
| 라이선스 / 접근 방식 | 독점 API, VPC, 온프레미스 | 독점 API, VPC, 온프레미스 | 독점 API | 독점 API | Apache 2.0 오픈 웨이트 |
| 1M 토큰당 API 가격 | $0.05 | $0.02 | $0.05 | $0.02 | 셀프 호스팅 |
| 구절 추출 | Context Focus | Context Focus | 미공개 | 미공개 | 미공개 |
| BRIGHT* | 82.2 | 77.5 | 76.4 | 69.4 | 69.8 |
| ViDoRe V3* | 92.2 | 90.6 | 90.6 | 87.9 | 85.1 |
| BEIR* | 90.4 | 88.1 | 88.6 | 86.1 | 83.8 |
| nanoMTEB* | 87.3 | 85.1 | 83.9 | 80.7 | 82.1 |
| ECE, 인간 평가자* (낮을수록 좋음) | 0.058 | 0.058 | 0.234 | 0.226 | 공개되지 않음 |
*점수는 RCP-nDCG@10 또는 다음에서 나온 ECE입니다: Cohere의 Rerank 5 게시물, Cohere가 측정함. 독립적으로 검증되지 않았음.
개발자는 Rerank 5를 어떻게 배포할 수 있나요?
Rerank 5가 정식 출시되었습니다. Cohere API 그리고 모델 볼트. Microsoft Foundry에서도 실행됩니다(Pro, 빠름) 및 Amazon SageMaker (Pro, 빠른). 또한 모든 North 사용자가 이용할 수 있습니다. API 가격은 Pro의 경우 1M 토큰당 $0.05이며 Fast는 $0.02입니다. Model Vault에는 인스턴스 시간당 4.00달러 두 등급 모두에 대해 Medium 등급에 적용됩니다.
Cohere에 따르면 통합 대상에는 LangChain, Haystack, Elasticsearch, Weaviate가 포함됩니다. 통합 문서.
핵심 요약
- Pro($0.05) 및 Fast($0.02) 요금제에서는 1M 토큰당 5개의 선박을 리랭크할 수 있으며, 두 요금제 모두 32K 컨텍스트를 제공합니다.
- Pro는 BRIGHT에서 82.2점을 기록했으며, Voyage AI Rerank 3보다 5.8점 높습니다.
- Context Focus는 1회 호출로 점수가 매겨진 구절을 반환하여 에이전트 토큰을 35%에서 41%까지 절감합니다.
- 캘리브레이션된 점수는 약 0.06 ECE에 도달하므로, 1개의 임계값이 여러 도메인에서 작동합니다.
- 모든 벤치마크는 Cohere의 RCP-nDCG@10 지표로 자체 보고된 결과입니다.
다음을 확인해 보세요 공식 발표, 그 Rerank 5 변경 로그 그리고 그 전체 결과표. 이 프로젝트의 연구자에게 모든 공은 돌아갑니다. 또한 저희를 팔로우해 주셔도 좋습니다. Twitter 그리고 저희 에 참여하는 것도 잊지 마세요. 150k+ ML 서브레딧 및 구독하기 저희 뉴스레터잠깐만요! 텔레그램 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
당신의 GitHub Repo, Hugging Face Page, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십이 필요하신가요? 저희와 소통하세요
해당 게시글 Cohere, 구절 수준 맥락 초점과 보정된 점수를 갖춘 Rerank 5 출시 최초 게재: MarkTechPost.