Primeros resultados de AA-AgentPerf para NVIDIA Vera Rubin NVL72

Todos los artículos

Primeros resultados de AA-AgentPerf para NVIDIA Vera Rubin NVL72

Los primeros resultados para el Vera Rubin NVL72 de NVIDIA ya están disponibles en AA-AgentPerf. Ofrece hasta ~5.7x el rendimiento total por megavatio de su predecesor GB300 NVL72 en DeepSeek V4 Pro, ~5.4x en DeepSeek V4.1 Flash, ~3.0x en GLM-5.2 y ~2.8x en Kimi K3. Vera Rubin es el sucesor de Blackwell de NVIDIA, y Vera Rubin NVL72 es su sistema a escala de rack, con 72 GPUs Rubin y 36 CPUs Vera.

Mayor ventaja en rendimiento por MW frente a GB300 NVL72, a fecha del 15 de octubre de 2026

• ~5.7xDeepSeek V4 Proa ~190 tok/s por usuario
• ~5.4xDeepSeek V4.1 Flasha ~580 tok/s por usuario
• ~3.0xGLM-5.2a ~165 tok/s por usuario
• ~2.8xKimi K3a ~67 tok/s por usuario

Las cargas de trabajo de codificación agéntica son difíciles de servir de manera eficiente

Los agentes de codificación trabajan en un bucle: el modelo razona y llama a una herramienta, el harness ejecuta esa herramienta y añade su salida a la conversación, y toda la conversación vuelve al modelo para el siguiente paso. Como cada solicitud lleva todo lo que vino antes, el contexto sigue creciendo a medida que el agente lee archivos, ejecuta pruebas y hace ediciones (con las propias respuestas del modelo manteniéndose cortas), por lo que el tráfico agéntico se ve bastante diferente del chat o de los prompts de longitud fija que usan muchos benchmarks de inferencia.

AA-AgentPerf reproduce trayectorias reales de agentes de codificación (generadas por agentes que resuelven problemas en repositorios de código públicos) en una gama de niveles de concurrencia, con cada agente simulado trabajando a través de tres trayectorias en secuencia y pausando después de cada respuesta durante un tiempo de llamada a herramienta extraído de duraciones reales de llamadas a herramientas. Las solicitudes llevan hasta 132K tokens de entrada mientras que las respuestas suelen ser solo una llamada a herramienta corta, y en promedio el 97% de los tokens de entrada de una solicitud repiten la solicitud anterior.

Si una pila de servicio mantiene este prefijo repetido en su caché KV, solo tiene que prefill los tokens que cada turno añade, en lugar de reprocesar todo el contexto cada vez. En el ejemplo siguiente, una de las trayectorias más largas crece de 10K a 116K tokens de contexto a lo largo de 118 solicitudes, con el agente enviando 9.7M tokens de entrada al modelo en total (solo 116K de ellos nuevos) y el modelo generando 20K tokens de salida en todas sus respuestas.

Tokens de entrada por solicitud en una sesión de agente

• Repetido de la solicitud anterior
• Nuevo desde la solicitud anterior

Algunas de las características únicas de la inferencia agéntica, que necesitan un tratamiento específico al hacer benchmarking, son:

• Capacidad y reutilización de la caché KV, ya que miles de agentes concurrentes pueden mantener cada uno decenas de miles de tokens de contexto, que deben permanecer en caché durante las pausas de llamada a herramientas y encontrarse de nuevo para la siguiente solicitud
• Prefill desigual, con cada turno añadiendo desde unos pocos tokens hasta decenas de miles (por ejemplo, cuando una herramienta devuelve un archivo grande) sobre un prefijo largo en caché
• Salidas cortas, ya que muchas respuestas son llamadas a herramientas breves, lo que hace que el tiempo hasta el primer token y la sobrecarga de programación importen más que en la generación de formato largo

La carga de trabajo de AA-AgentPerf captura estas características:

Hasta132K

Tokens de entrada por solicitud, con contextos de 1M de tokens próximamente

Hasta 182

Solicitudes en una sola trayectoria

Hasta 11M

Tokens de entrada enviados al modelo a lo largo de una sola trayectoria

Hasta 69 K

Nuevos tokens de entrada añadidos en un turno, cuando una herramienta devuelve un resultado grande

Hasta 5 s

Pausa para una llamada a una herramienta entre una solicitud y la siguiente

97%

Proporción de tokens de entrada repetidos de la solicitud anterior, en promedio

Estadísticas de carga de trabajo AA-AgentPerf a lo largo de 500 trayectorias y 18,997 solicitudes, tokenizadas con o200k_base. Consulte nuestra metodología para obtener todos los detalles.

Vera Rubin NVL72 supera a GB300 NVL72 por hasta ~5.7x por MW

Vera Rubin NVL72 mantiene el diseño a escala de rack de GB300 NVL72, con 72 GPU y 36 CPU en un solo dominio NVLink. Cada GPU Rubin tiene los mismos 288 GB de memoria que Blackwell Ultra, pero 2.4x el ancho de banda de memoria (gracias a HBM4), 1.7x el ancho de banda NVLink y 2.3x el cómputo denso NVFP4, y la CPU Vera duplica el ancho de banda NVLink-C2C hacia sus GPU, que es el enlace que transporta cualquier caché KV descargada a la memoria de la CPU.

Especificaciones de las páginas de Vera Rubin NVL72, Blackwell Ultra y GB300 NVL72 de NVIDIA a octubre de 2026. La potencia medida es el consumo eléctrico propio de cada GPU bajo carga (la GPU y su HBM, según lo reportado por la telemetría DCGM/SMI de NVIDIA, excluyendo CPUs, red y refrigeración), a lo largo de las configuraciones en la frontera de cada sistema para los cuatro modelos.

Resultados a través de los cuatro modelos

Cada gráfico siguiente representa el rendimiento total por MW de potencia GPU medida frente a la velocidad de salida por usuario. El rendimiento total cuenta los tokens de entrada (en caché y recién prellenados) y los tokens de salida, con ~96% de ellos siendo entrada en caché, y la velocidad por usuario es el percentil 25 (p25) entre las solicitudes excluyendo el tiempo hasta el primer token, que es la velocidad que citamos en todo el artículo. Cada punto es una configuración de servicio a un número fijo de agentes, y la flecha marca la mayor ventaja de Vera Rubin sobre GB300.

• Al rendimiento máximo, Vera Rubin NVL72 sirve 272M tokens/s por MW en DeepSeek V4 Pro frente a 239M para GB300 NVL72 (1.14x), 571M frente a 395M en DeepSeek V4.1 Flash (1.45x), 272M frente a 201M en GLM-5.2 (1.35x) y 70M frente a 56M en Kimi K3 (1.26x)
• La ventaja de Vera Rubin es mayor donde el rendimiento de GB300 cae, alcanzando ~5.7x en DeepSeek V4 Pro a ~190 tok/s por usuario, ~5.4x en DeepSeek V4.1 Flash a ~580 tok/s, ~3.0x en GLM-5.2 a ~165 tok/s y ~2.8x en Kimi K3 a ~67 tok/s. Pasar de ~120 a ~165 tok/s por usuario en DeepSeek V4 Pro le cuesta a GB300 el 81% de su rendimiento por MW, en comparación con el 16% para Vera Rubin
• Por GPU, la ventaja de Vera Rubin es aún más amplia: 2.0x a 2.5x al rendimiento máximo, y hasta ~12x en DeepSeek V4 Pro a ~165 tok/s por usuario, ~18x en DeepSeek V4.1 Flash a ~580 tok/s, ~7x en GLM-5.2 entre ~200 y ~310 tok/s y ~7x en Kimi K3 a ~176 tok/s
• Las configuraciones más rápidas de Vera Rubin establecen las velocidades por usuario más altas en nuestra tabla de clasificación para DeepSeek V4.1 Flash (906 tok/s, el resultado más rápido para cualquier modelo), GLM-5.2 (408 tok/s) y Kimi K3 (255 tok/s)

Una mayor eficiencia energética reduce el costo operativo de servir cada token, y como los centros de datos de IA están cada vez más limitados por la potencia que pueden extraer que por el número de aceleradores que pueden instalar, también permite servir más agentes desde el mismo centro de datos. A ~165 tok/s por usuario, por ejemplo, el mismo presupuesto de potencia GPU sirve ~5 veces más tokens de DeepSeek V4 Pro en Vera Rubin NVL72 que en GB300 NVL72. Cada punto de nuestra tabla de clasificación incluye la configuración de servicio detrás de él en nuestro explorador de configuraciones, de modo que los equipos pueden partir de una configuración ajustada para su propio hardware en lugar de realizar su propio estudio de rendimiento.

Los resultados de DeepSeek V4 Pro muestran la ventaja más amplia a altas velocidades

DeepSeek V4 Pro tiene 1.6T de parámetros totales y 49B activos, y usa un híbrido de atención comprimida dispersa y fuertemente comprimida para mantener su caché KV pequeña en contextos largos.

Rendimiento total por MW vs. velocidad de salidaDeepSeek V4 Pro 0813 (máx)

La tasa de decodificación por solicitud, es decir, los tokens de salida por segundo que recibe cada solicitud después de que llega el primer token (excluyendo el tiempo de espera hasta recibir el primer token). Los gráficos muestran por defecto el percentil 25 entre las solicitudes, la velocidad que tres cuartas partes de las solicitudes superaron.

• Al rendimiento máximo, Vera Rubin NVL72 sirve 272M tokens/s por MW a 69 tok/s por usuario, 1.14x los 239M de GB300 NVL72 a 67 tok/s, y se mantiene ~1.1x por delante hasta ~120 tok/s por usuario
• La brecha se abre más allá de ~130 tok/s por usuario a medida que el rendimiento de GB300 cae, con Vera Rubin sirviendo 174M tokens/s por MW a ~165 tok/s por usuario frente a 34M para las configuraciones GB300 de NVIDIA (5.1x), y 132M a ~190 tok/s frente a ~23M para GB300 (~5.7x). Las configuraciones de rack GB300 de NVIDIA llegan como máximo a ~163 tok/s por usuario, así que más allá de eso la línea de GB300 proviene de pequeñas configuraciones de 4 GPU que construimos
• La configuración más rápida de Vera Rubin funciona a 298 tok/s por usuario, y por encima de ~255 tok/s por usuario esas configuraciones GB300 de 4 GPU sirven más tokens por MW que Vera Rubin, extendiendo los resultados de GB300 hasta 340 tok/s
• Las configuraciones de Vera Rubin tardan más en devolver el primer token (una mediana de 1.65 s a ~165 tok/s por usuario, en comparación con 1.08 s para GB300), y medido contra la velocidad de extremo a extremo, que incluye esa espera, GB300 iguala o supera el rendimiento por MW de Vera Rubin a la mayoría de las velocidades

Los resultados de DeepSeek V4.1 Flash establecen el mayor rendimiento y las velocidades más altas en nuestra tabla de clasificación

DeepSeek V4.1 Flash tiene 552B de parámetros de columna vertebral, de los cuales activa 8B por token durante el prellenado y 16B durante la decodificación, más una memoria Engram de 196B parámetros que lee mediante búsqueda por token. Su atención dispersa y su caché KV FP4 mantienen la caché KV en ~890 bytes por token, alrededor de un cuarto de la de DeepSeek V4 Flash.

Rendimiento total por MW vs. velocidad de salidaDeepSeek V4.1 Flash (máx)

La tasa de decodificación por solicitud, es decir, los tokens de salida por segundo que recibe cada solicitud después de que llega el primer token (excluyendo el tiempo de espera hasta recibir el primer token). Los gráficos muestran por defecto el percentil 25 entre las solicitudes, la velocidad que tres cuartas partes de las solicitudes superaron.

• Vera Rubin NVL72 alcanza un máximo de 571M de tokens/s por MW a 68 tok/s por usuario, el mayor rendimiento por MW en nuestro leaderboard entre los cuatro modelos, por delante del pico de 433M de B300 y los 395M de GB300 NVL72 (a 31 y 23 tok/s por usuario)
• La ventaja de Vera Rubin sobre GB300 crece con la velocidad por usuario, desde ~1.8x a 68 tok/s hasta ~2.9x a ~165 tok/s y ~3.4x a ~3.6x entre ~230 y ~350 tok/s, alcanzando ~5.4x a ~580 tok/s por usuario con una configuración de 12 GPU que distribuye el decode entre cinco workers
• El resultado más rápido de Vera Rubin, 906 tok/s por usuario desde un único servidor de 4 GPU atendiendo a un agente, es el resultado más rápido de nuestro leaderboard para cualquier modelo, por delante de 669 tok/s en B200 y 596 tok/s en GB300 para DeepSeek V4.1 Flash
• Por GPU, Vera Rubin sirve 651K tokens/s en su punto máximo, 2.3 veces los 284K de GB300, y ~6.5 veces la línea de GB300 a ~300 tok/s por usuario

Las respuestas de DeepSeek V4.1 Flash en Vera Rubin de NVIDIA están limitadas a 2,048 tokens de salida, en comparación con 16,384 para los demás resultados de DeepSeek V4.1 Flash en nuestro leaderboard. Alrededor del 2% de las respuestas alcanzaron el límite y la respuesta promedio fue aproximadamente una décima parte más corta (275 a 301 tokens frente a 319 a 335), lo que favorece modestamente el throughput de Vera Rubin.

Los resultados de GLM-5.2 muestran una ventaja de ~3x a velocidades más altas

GLM-5.2 tiene 753B de parámetros totales y 40B activos con atención dispersa al estilo DeepSeek. Representamos GLM-5.2 y GLM-5.3 en un solo gráfico del leaderboard porque comparten arquitectura.

Throughput total por MW vs. velocidad de salida GLM-5.2 & 5.3 (máx)

La tasa de decode por solicitud, es decir, los tokens de salida por segundo que recibe cada solicitud después de llegar el primer token (excluyendo el tiempo de espera hasta recibir el primer token). Los gráficos muestran por defecto el percentil 25 entre las solicitudes, la velocidad que tres cuartas partes de las solicitudes superaron.

• Vera Rubin NVL72 alcanza un máximo de 272M tokens/s por MW a 84 tok/s por usuario, 1.35 veces los 201M de GB300 NVL72 a 68 tok/s por usuario
• A ~165 tok/s por usuario Vera Rubin sirve 159M tokens/s por MW, ~3.0 veces la línea de GB300 a la misma velocidad (~53M), y la brecha se mantiene entre ~2.7x y ~3x hasta ~310 tok/s por usuario
• El resultado más rápido de Vera Rubin, 408 tok/s por usuario, es el resultado más rápido de GLM-5.2 en nuestro leaderboard, por delante de 333 tok/s en B300 y 330 tok/s en GB300
• Medido contra la velocidad de extremo a extremo, que incluye el tiempo hasta el primer token, Vera Rubin sigue sirviendo entre 1.1x y 1.8x el throughput por MW de GB300 en todo el rango

Los resultados de Kimi K3 muestran una ventaja de ~2.8x a velocidades moderadas

Kimi K3 es el modelo más grande que presentamos, con 2.8T de parámetros totales y 104B activos, y un diseño híbrido que usa atención lineal en 69 de sus 93 capas.

Throughput total por MW vs. velocidad de salida Kimi K3 (máx)

La tasa de decode por solicitud, es decir, los tokens de salida por segundo que recibe cada solicitud después de llegar el primer token (excluyendo el tiempo de espera hasta recibir el primer token). Los gráficos muestran por defecto el percentil 25 entre las solicitudes, la velocidad que tres cuartas partes de las solicitudes superaron.

• Cada sistema sirve muchos menos tokens por MW en Kimi K3 que en los otros tres modelos, con Vera Rubin NVL72 alcanzando un máximo de 70M tokens/s por MW a 41 tok/s por usuario, 1.26 veces el pico de 56M de GB300 NVL72 a 40 tok/s
• A ~67 tok/s por usuario Vera Rubin sirve ~2.8 veces el throughput por MW de la línea de GB300 (59M frente a ~21M), y su configuración de 30 agentes sirve ~2.4 veces la línea de GB300 a 176 tok/s por usuario (9.6M frente a ~4.0M). Las configuraciones actuales de Vera Rubin de NVIDIA dejan un hueco entre ~74 y ~176 tok/s por usuario
• El resultado más rápido de Vera Rubin, 255 tok/s por usuario desde un único servidor vLLM de 8 GPU, es el resultado más rápido de Kimi K3 en nuestro leaderboard, por delante de B300 (235) y GB300 (194)
• El tiempo hasta el primer token es largo en el throughput máximo en ambos sistemas, con un p95 de 9.3 s para la configuración de 2,048 agentes de Vera Rubin y 19 s para la configuración de 768 agentes de GB300

NVIDIA ajustó su stack de Vera Rubin para cargas de trabajo agénticas

NVIDIA compartió cómo construyó sus configuraciones de Vera Rubin y GB300. El conjunto actual de configuraciones es muy similar entre Vera Rubin y GB300, por lo que la mayor parte de la diferencia de rendimiento proviene del hardware mejorado de la generación de racks más nueva, junto con kernels tempranos específicos de Rubin y ajustes. Las técnicas incluyen:

• Caché KV a través de niveles de memoria. Con el 97% de los tokens de entrada de una solicitud repetidos en promedio de la solicitud anterior, el caché de prefijos es esencial, y los despliegues necesitan todos los niveles de memoria desde HBM hasta la memoria del host (y eventualmente disco). La mayoría de las configuraciones de Vera Rubin descargan la caché KV a la memoria de la CPU a través de NVLink-C2C, que Vera duplica a 1.8 TB/s por superchip, con las transferencias superpuestas a otro trabajo de la GPU, ya que los contextos agénticos largos exponen el ancho de banda GPU-a-CPU de una manera que los prompts sintéticos cortos no lo hacen. Los workers de prefill de DeepSeek V4 Pro tienen de 120 a 200 GiB de memoria del host configurados para la caché KV. Las configuraciones de DeepSeek V4.1 Flash, en cambio, mantienen la memoria Engram de 196B parámetros del modelo en la memoria de la CPU en lugar de HBM.
• Enrutamiento consciente de sesión con NVIDIA Dynamo. Las sesiones de agente vuelven al mismo contexto turno tras turno, por lo que conviene enviar cada solicitud al worker que ya tiene su caché. Cada configuración de Vera Rubin funciona detrás de NVIDIA Dynamo, el framework de serving de código abierto de NVIDIA, que mantiene los turnos de cada agente en el mismo worker de prefill y, en DeepSeek V4 Pro, GLM-5.2 y Kimi K3, envía cada solicitud al worker que tiene la mayor parte de su prefijo en caché. Las capas de atención lineal de Kimi K3 añaden una complicación, ya que su estado recurrente no se puede rebobinar a un punto anterior como una caché KV estándar, por lo que reutilizarlo requiere una instantánea guardada en el lugar correcto.
• Servicio desagregado con paralelismo de expertos amplio. Un turno puede añadir desde unos pocos tokens hasta decenas de miles, por lo que en todas las configuraciones salvo las de menor concurrencia, el prefill se ejecuta en workers separados, donde una salida grande de herramienta no retrasa el decoding de todos los demás agentes. NVIDIA dimensiona cada lado según el nivel de concurrencia, que en DeepSeek V4 Pro significa de uno a seis workers de prefill de 4 GPU a medida que aumenta la concurrencia, con los expertos del modelo distribuidos en hasta 32 GPU de decode y la caché KV de cada solicitud transferida de prefill a decode a través de NVLink. Las configuraciones de mayor rendimiento de Kimi K3 también usan DWDP (distributed weight data parallelism), una técnica de prefill de TensorRT-LLM descrita en este artículo.
• Decodificación especulativa ajustada al tamaño de lote. Los cuatro modelos usan decodificación especulativa (modelos draft DSpark para DeepSeek V4 Pro y Kimi K3, drafting DSpark integrado de DeepSeek V4.1 Flash y capas de predicción multi-token propias de GLM-5.2), con la longitud del draft ajustada para cada nivel de concurrencia, por ejemplo, de 7 tokens con menor concurrencia a 3 en la más alta en DeepSeek V4 Pro, ya que la especulación rinde más cuando los lotes son pequeños y las GPU tienen capacidad de cómputo de sobra. La configuración detrás del resultado de ~5.7x en DeepSeek V4 Pro, a ~190 tok/s por usuario, usa un draft de 7.
• Kernels ajustados para Rubin. Los checkpoints NVFP4 de NVIDIA ejecutan los expertos MoE en precisión de 4 bits sobre kernels NVFP4 ajustados para Rubin, junto con kernels fusionados para la arquitectura de cada modelo (como la atención dispersa y las Hyper-Connections de DeepSeek V4 Pro). El mismo kernel de atención debe manejar entradas desde unos pocos tokens hasta 1M, por lo que el autotuning debe cubrir rangos de formas en lugar de especializarse en formas fijas, algo que las cargas de trabajo agénticas reales necesitan y que los benchmarks de forma fija no ejercitan.
• Manejo rápido de solicitudes en el host. Cada solicitud transporta toda la conversación hasta el momento (hasta 132K tokens en nuestra carga de trabajo), por lo que el frontend de servicio debe tokenizar y reenviar un historial largo en cada turno. El router de Dynamo está escrito en Rust para mantener baja la latencia en el host, y las configuraciones de DeepSeek V4 Pro y GLM-5.2 añaden un tokenizer rápido con una caché de tokenización y un transporte de solicitudes optimizado, mientras que las configuraciones de los otros modelos asignan cada worker a los núcleos de CPU y la memoria más cercanos a sus GPU.

Estos son primeros resultados en Vera Rubin, con kernels específicos para Rubin aún tempranos y ajustes iniciales, y NVIDIA espera que el rendimiento siga mejorando a medida que lleguen más optimizaciones.

Descripción general de las configuraciones de Vera Rubin para cada modelo

Lecturas adicionales

• Compara todos los sistemas en el leaderboard de AA-AgentPerf
• Lee la metodología de AA-AgentPerf y el artículo de lanzamiento
• Explora la configuración completa de servicio detrás de cada resultado en el navegador de configuraciones

Lee las últimas

Reflection ha lanzado Beam, su primer modelo publicado

El primer modelo de Reflection, Beam, obtiene 30 en el Artificial Analysis Intelligence Index, colocándolo en el puesto #2 entre los modelos de pesos abiertos de EE. UU.

16 de octubre de 2026

NVIDIA lanza Nemotron 3.5 Super VL y Nemotron 3.5 Bolt 74B A9B

Nemotron 3.5 Super VL de Nvidia es ahora el modelo de pesos abiertos líder de EE. UU., con una puntuación de 26 en el Artificial Analysis Intelligence Index

15 de octubre de 2026