MarkTechPostPublicación de la fuente

Cohere Lanza Rerank 5 con Enfoque de Contexto a Nivel de Pasaje y Puntuaciones Calibradas

Cohere AI ha lanzado Rerank 5, una nueva familia de rerankers en las variantes Pro y Fast. Cohere Rerank 5 es un modelo de recuperación que reordena los resultados de búsqueda antes de que lleguen a un LLM.

Cohere AI ha lanzado Rerank 5, una nueva familia de rerankers en las variantes Pro y Fast. Cohere Rerank 5 es un modelo de recuperación que reordena los resultados de búsqueda antes de que lleguen a un LLM. Añade 2 características para desarrolladores: Context Focus, que devuelve pasajes relevantes dentro de cada documento, y puntuaciones de relevancia calibradas. Para quienes construyen RAG y agentes, el mensaje es simple. Envíe menos tokens, pero mejores, al LLM.

TL;DR

  • Tamaño: Número de parámetros no revelado. Ventana de contexto de 32K tokens. Dos variantes: rerank-v5.0-pro y rerank-v5.0-fast.
  • Se ejecuta en: API alojada, Model Vault, Microsoft Foundry, Amazon SageMaker, o VPC privada y on-prem. Cohere mide la velocidad en una única NVIDIA A100. Sin pesos abiertos ni compilaciones cuantizadas.
  • Rendimiento: Pro ocupa el primer lugar en 39 de 46 conjuntos de datos compuestos en la propia evaluación de Cohere.
  • Mejor: Pro obtiene 82.2 en BRIGHT (RCP-nDCG@10), 5.8 puntos por encima de Voyage AI Rerank 3.
  • Peor: La latencia mediana de Pro es de 11.7 s por solicitud de 96 documentos, frente a 4.1 s para Fast.

¿Qué hay de nuevo en Cohere Rerank 5?

Rerank 5 llega como dos modelos. Pro apunta a la calidad del ranking en consultas con carga de razonamiento y documentos largos y específicos de dominio. Fast apunta a baja latencia y alto rendimiento para agentes que ejecutan muchas búsquedas.

Ambos modelos admiten más de 100 idiomas y una ventana de contexto de 32K. También reordenan datos semiestructurados como registros JSON, tablas y YAML. La actualización no requiere reindexación. Los desarrolladores cambian el model parámetro y conservan su búsqueda por palabras clave, vectorial o híbrida existente.

¿Cómo funciona Context Focus?

Context Focus es una característica opcional, desactivada por defecto. Una única llamada Rerank devuelve puntuaciones de documentos más tramos de caracteres puntuados. Cada tramo incluye start y end desplazamientos en el texto original. Los desarrolladores lo configuran mediante el campo relevant_spans , con un valor threshold y max_spans .

Cohere lo probó en 30 datasets de QA. Eliminar la mitad del texto recuperado mantuvo el 96% de la calidad de respuesta. Eliminar tres cuartos mantuvo el 87%. Cohere dice que los equipos pueden llegar a 10 veces menos contexto a costa de algo de calidad.

En una prueba de agente de búsqueda en 17 datasets, BM25 solo obtuvo un 46% de precisión. Añadir Rerank 5 Pro lo elevó al 49%. Context Focus con el umbral predeterminado de 0.1 redujo los tokens por tarea en un 19% y alcanzó el 57%. Con 0.4, los tokens cayeron un 34% y la precisión llegó al 58%. Frente a BM25 solo, la pila completa usó un 35% menos de tokens. En 6 benchmarks de búsqueda profunda, los tokens cayeron un 41% y la precisión subió del 39% al 52%.

¿Qué cambian las puntuaciones de relevancia calibradas?

Las puntuaciones de Rerank 5 se leen como probabilidades. Una puntuación de 0.7 significa un 70% de probabilidad de que el documento sea útil.

El equipo de Cohere midió el error de calibración esperado (ECE) frente a evaluadores humanos a ciegas y evaluadores de NIST TREC-DL. Rerank 5 puntúa alrededor de 0.06 en ambos. Voyage AI Rerank 3 puntúa 0.234 y 0.307. Rerank 4 Pro puntúa 0.384 y 0.309. En la práctica, los equipos de desarrollo pueden filtrar por umbral en lugar de un top-k fijo. Un agente también puede detectar cuando no volvió nada relevante.

¿Cómo rinde Rerank 5 en los benchmarks?

Todas las puntuaciones siguientes son autodenunciadas por Cohere usando RCP-nDCG@10, una variante de nDCG desarrollada por Cohere. Cohere ejecutó por sí mismo los modelos de la competencia.

Pro lidera los cuatro benchmarks principales. Puntúa 92.2 en ViDoRe V3, 90.4 en BEIR, 82.2 en BRIGHT y 87.3 en nanoMTEB. BRIGHT muestra el mayor salto: 12.4 puntos sobre Rerank 4 Pro.

Fast supera a Voyage AI Rerank 3 Lite, Qwen3-Reranker-8B y Rerank 4 Pro en los 4. Empata con Voyage AI Rerank 3 en ViDoRe V3 con 90.6. Queda por detrás en BEIR, 88.1 frente a 88.6.

En PDF analizados, promediado sobre 47 datasets, Pro puntúa 89.9 y Fast 88.5. Voyage AI Rerank 3 puntúa 88.4. Pro ocupa el primer puesto en 14 de 19 idiomas no ingleses en la suite interna de Cohere.

¿Cómo se compara Rerank 5 con otros rerankers de la competencia?

CaracterísticaCohere Rerank 5 ProCohere Rerank 5 FastVoyage AI rerank-3Voyage AI rerank-3-liteQwen3-Reranker-8B
ParámetrosNo divulgadoNo divulgadoNo divulgadoNo divulgado8B
Ventana de contexto32K32K32,00032,00032K
Idiomas100+100+No divulgadoNo divulgado100+
Licencia / accesoAPI propietaria, VPC, localAPI propietaria, VPC, localAPI propietariaAPI propietariaPesos abiertos Apache 2.0
Precio de API por 1M de tokens$0.05$0.02$0.05$0.02Autoalojado
Extracción de pasajesContext FocusContext FocusNo divulgadoNo divulgadoNo divulgado
BRIGHT*82.277.576.469.469.8
ViDoRe V3*92.290.690.687.985.1
BEIR*90.488.188.686.183.8
nanoMTEB*87.385.183.980.782.1
ECE, jueces humanos* (menor es mejor)0.0580.0580.2340.226No revelado

*Las puntuaciones son RCP-nDCG@10 o ECE de Publicación sobre Rerank 5 de Cohere, medido por Cohere. No verificado de forma independiente.

¿Cómo pueden los desarrolladores desplegar Rerank 5?

Rerank 5 ya está disponible de forma general en la Cohere API y Bóveda de modelos. También funciona en Microsoft Foundry (Pro, Rápido) y Amazon SageMaker (Pro, Rápido"). También está disponible para todos los usuarios de North. El precio de la API es de $0.05 por 1M de tokens para Pro y $0.02 para Fast. Model Vault enumera $4.00 por instancia-hora para ambos niveles en su nivel Medium.

Las integraciones incluyen LangChain, Haystack, Elasticsearch y Weaviate, según Cohere. documentación de integración.

Conclusiones clave

  • Rerank 5 barcos en Pro ($0.05) y Fast ($0.02) por 1M de tokens, ambos con contexto de 32K.
  • Pro obtiene 82.2 en BRIGHT, 5.8 puntos por encima de Voyage AI Rerank 3.
  • Context Focus devuelve pasajes puntuados en 1 llamada, reduciendo los tokens del agente un 35% a un 41%.
  • Las puntuaciones calibradas alcanzan un ECE de aproximadamente 0.06, por lo que 1 umbral funciona en todos los dominios.
  • Todos los benchmarks son autodenunciados en la métrica RCP-nDCG@10 de Cohere.


Echa un vistazo al anuncio oficial, la Registro de cambios de Rerank 5 y el hoja de resultados completa. Todo el crédito corresponde al investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y suscribirte a nuestro Newsletter¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.

¿Necesitas asociarte con nosotros para promocionar tu repositorio de GitHub O página de Hugging Face O lanzamiento de producto O webinar, etc.? Conéctate con nosotros

La entrada Cohere lanza Rerank 5 con enfoque en contexto a nivel de pasaje y puntuaciones calibradas apareció primero en MarkTechPost.

Fuente original

MarkTechPost

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original