NVIDIA Vera Rubin NVL72的首批AA-AgentPerf结果

所有文章

NVIDIA Vera Rubin NVL72的首批AA-AgentPerf结果

NVIDIA的Vera Rubin NVL72的首批结果现已在AA-AgentPerf上上线。在DeepSeek V4 Pro上,其每兆瓦总吞吐量约为其前代GB300 NVL72的~5.7倍，在DeepSeek V4.1 Flash上约为~5.4倍，在GLM-5.2上约为~3.0倍，在Kimi K3上约为~2.8倍。Vera Rubin是NVIDIA对Blackwell的后续产品，Vera Rubin NVL72是其机架级系统，配备72颗Rubin GPU和36颗Vera CPU。

截至2026年10月15日，每兆瓦吞吐量相对GB300 NVL72的最大领先优势

• ~5.7倍DeepSeek V4 Pro，每用户约~190 tok/s
• ~5.4倍DeepSeek V4.1 Flash，每用户约~580 tok/s
• ~3.0倍GLM-5.2，每用户约~165 tok/s
• ~2.8倍Kimi K3，每用户约~67 tok/s

智能体编码工作负载难以高效服务

编码智能体以循环方式工作：模型进行推理并调用工具，工具框架运行该工具并将其输出附加到对话中，然后整个对话返回给模型进行下一步。由于每个请求都携带之前的一切内容，随着智能体读取文件、运行测试和进行编辑（模型自身的回复保持简短），上下文不断增长，因此智能体流量与聊天或许多推理基准使用的固定长度提示大不相同。

AA-AgentPerf以一系列并发级别重放真实的编码智能体轨迹（由智能体解决公开代码仓库中的问题而生成），每个模拟智能体依次处理三条轨迹，并在每次回复后暂停一段取自真实工具调用时长的工具调用时间。请求携带多达132K输入令牌，而回复通常只是一个简短的工具调用，并且平均而言，一个请求输入令牌的97%与上一个请求重复。

如果服务堆栈将这一重复前缀保存在其KV缓存中，它只需预填充每一轮新增的令牌，而不必每次都重新处理完整上下文。在下面的示例中，一条较长的轨迹在118个请求中从10K令牌的上下文增长到116K令牌，智能体总共向模型发送了9.7M输入令牌（其中只有116K是新的），而模型在其所有回复中生成了20K输出令牌。

一个智能体会话中每个请求的输入令牌

• 从上一个请求重复
• 自上一个请求以来新增

智能体推理的一些独特特性在基准测试中需要专门处理，它们是：

• KV缓存容量与复用，因为数千个并发智能体各自可能持有数万令牌的上下文，这些上下文必须在工具调用暂停期间保持缓存，并在下一个请求时被重新找到
• 不均匀的预填充，每一轮在长长的缓存前缀之上新增的令牌可能从几个到数万个不等（例如当工具返回一个大文件时）
• 短输出，因为许多回复都是简短的工具调用，这使得首个令牌时间和调度开销比长篇生成时更为重要

AA-AgentPerf的工作负载捕捉了这些特性：

每请求最多132K

输入令牌，1M令牌上下文即将推出

最多182

单个轨迹中的请求数

最多11M

跨单个轨迹发送到模型的输入令牌数

高达69K

当工具返回大量输出时，单轮新增的输入令牌数

长达5 秒

一次请求与下一次请求之间为工具调用保留的暂停时间

97%

平均而言，从上一次请求重复使用的输入令牌占比

AA-AgentPerf 在 500 条轨迹和 18,997 个请求上的工作负载统计，使用 o200k_base 进行分词。详情请参阅我们的 方法论 。

Vera Rubin NVL72 每兆瓦性能比 GB300 NVL72 领先高达约 5.7 倍

Vera Rubin NVL72 保持了 GB300 NVL72 的机架级设计，在单一 NVLink 域中包含 72 个 GPU 和 36 个 CPU。每个 Rubin GPU 拥有与 Blackwell Ultra 相同的 288 GB 内存，但内存带宽为 2.4 倍（得益于 HBM4），NVLink 带宽为 1.7 倍，密集 NVFP4 算力为 2.3 倍，而且 Vera CPU 将其 GPU 的 NVLink-C2C 带宽提升至 2 倍，这条链路承担所有卸载到 CPU 内存的 KV 缓存。

来自 NVIDIA 的规格页面： Vera Rubin NVL72, Blackwell Ultra 以及 GB300 NVL72 截至2026年10月的页面。测得的功耗是每个 GPU 在负载下自身的功耗（即 GPU 及其 HBM 的功耗，由 NVIDIA 的 DCGM/SMI 遥测数据报告，不包括 CPU、网络和散热），涵盖四个模型在各系统前沿的配置。

四个模型的结果

下面的每张图表绘制了每 MW 测得 GPU 功耗的总吞吐量与每用户输出速度的关系。总吞吐量计算输入 token（缓存和新生成的预填充）和输出 token，其中约96%为缓存的输入，每用户速度是各请求的第25百分位数（p25），不包括首个 token 的时间，这也是我们全文引用的速度。每个点代表一定数量 agent 下的一个服务配置，箭头标出 Vera Rubin 相对 GB300 的最大领先幅度。

• 在峰值吞吐量下，Vera Rubin NVL72 在 DeepSeek V4 Pro 上每 MW 提供 272M tokens/s，而 GB300 NVL72 为 239M（1.14x）；在 DeepSeek V4.1 Flash 上为 571M 对 395M（1.45x）；在 GLM-5.2 上为 272M 对 201M（1.35x）；在 Kimi K3 上为 70M 对 56M（1.26x）
• Vera Rubin 的领先优势在 GB300 吞吐量下降的地方最大，在 DeepSeek V4 Pro 上每用户约190 tok/s 时达到约5.7x，在 DeepSeek V4.1 Flash 上约580 tok/s 时约5.4x，在 GLM-5.2 上约165 tok/s 时约3.0x，在 Kimi K3 上约67 tok/s 时约2.8x。在 DeepSeek V4 Pro 上将每用户速度从约120提升到约165 tok/s，GB300 会损失每 MW 吞吐量的81%，而 Vera Rubin 仅损失16%
• 按单个 GPU 计算，Vera Rubin 的领先幅度更大：峰值吞吐量下为 2.0x 到 2.5x，在 DeepSeek V4 Pro 上每用户约165 tok/s 时高达约12x，在 DeepSeek V4.1 Flash 上约580 tok/s 时约18x，在 GLM-5.2 上约200到约310 tok/s 之间约7x，在 Kimi K3 上约176 tok/s 时约7x
• Vera Rubin 的最快配置在我们的排行榜上创下了 DeepSeek V4.1 Flash（906 tok/s，任何模型的最快结果）、GLM-5.2（408 tok/s）和 Kimi K3（255 tok/s）的最高每用户速度

更高的能效降低了服务每个 token 的运营成本，而且由于 AI 数据中心越来越多地受到可获取功率而非可安装加速器数量的限制，它还能让同一数据中心服务更多的 agent。例如在每用户约165 tok/s 时，相同的 GPU 功耗预算在 Vera Rubin NVL72 上可服务的 DeepSeek V4 Pro token 数量约为 GB300 NVL72 的5倍。我们排行榜上的每个点都在我们的 configurations browser中附带其背后的服务配置，团队可以从适合自己硬件的调优配置出发，而不必自行开展性能研究。

DeepSeek V4 Pro 的结果显示出高速度下最宽的领先优势

DeepSeek V4 Pro 拥有 1.6T 总参数和 49B 激活参数，使用压缩稀疏注意力与高度压缩注意力的混合机制，以在长上下文中保持较小的 KV 缓存。

每 MW 总吞吐量 vs. 输出速度DeepSeek V4 Pro 0813 (max)

每请求解码速率，即每个请求在收到第一个 token 之后每秒获得的输出 token 数（不包括等待首个 token 到达的时间）。图表默认显示各请求的第25百分位数，即四分之三请求所超过的速度。

• 在峰值吞吐量下，Vera Rubin NVL72 每 MW 提供 272M tokens/s，每用户 69 tok/s，是 GB300 NVL72 的 1.14x（后者为 239M，每用户 67 tok/s），并且在每用户最高约120 tok/s 的范围内保持约1.1x 的领先
• 在每用户约130 tok/s 之后差距开始拉大，因为 GB300 的吞吐量下降，Vera Rubin 在每用户约165 tok/s 时每 MW 提供 174M tokens/s，而 NVIDIA 的 GB300 配置为 34M（5.1x）；在约190 tok/s 时为 132M，GB300 约为 23M（约5.7x）。NVIDIA 的 GB300 机架配置最高仅达每用户约163 tok/s，因此超过该速度后，GB300 的曲线来自我们搭建的小型 4-GPU 配置
• Vera Rubin 最快的配置达到每用户 298 tok/s，而在每用户约255 tok/s 以上，那些 4-GPU GB300 配置每 MW 提供的 token 数超过 Vera Rubin，将 GB300 的结果延伸至 340 tok/s
• Vera Rubin 的配置返回首个 token 的时间更长（在每用户约165 tok/s 时中位数为 1.65 s，而 GB300 为 1.08 s），如果以包含该等待时间的端到端速度衡量，GB300 在大多数速度下每 MW 的吞吐量持平或超过 Vera Rubin

DeepSeek V4.1 Flash 的结果创下了我们排行榜上的最高吞吐量和速度

DeepSeek V4.1 Flash 拥有 552B 骨干参数，预填充期间每个 token 激活 8B，解码期间激活 16B，另有一个 196B 参数的 Engram 记忆，通过 token 查找进行读取。其稀疏注意力和 FP4 KV 缓存将 KV 缓存保持在每 token 约890字节，约为 DeepSeek V4 Flash 的四分之一。

每 MW 总吞吐量 vs. 输出速度DeepSeek V4.1 Flash (max)

每请求解码速率，即每个请求在收到第一个 token 之后每秒获得的输出 token 数（不包括等待首个 token 到达的时间）。图表默认显示各请求的第25百分位数，即四分之三请求所超过的速度。

• Vera Rubin NVL72 在每用户 68 tok/s 时达到每 MW 571M tokens/s 的峰值，这是所有四个模型中我们排行榜上最高的每 MW 吞吐量，领先于 B300 的峰值 433M 和 GB300 NVL72 的 395M（分别在每用户 31 和 23 tok/s 时）
• Vera Rubin 相对 GB300 的领先优势随每用户速度扩大：在 68 tok/s 时约为 1.8 倍，在 165 tok/s 时约为 2.9 倍，在约 230 到 350 tok/s 之间为约 3.4 倍到 3.6 倍，在采用将解码分布到五个 worker 的 12-GPU 配置时，每用户约 580 tok/s 处达到约 5.4 倍
• Vera Rubin 的最快结果是由单台 4-GPU 服务器服务一个 agent 达到的每用户 906 tok/s，这是我们排行榜上所有模型中最快的结果，领先于 B200 上的 669 tok/s 和 GB300 上 DeepSeek V4.1 Flash 的 596 tok/s
• 每 GPU 而言，Vera Rubin 峰值可服务 651K tokens/s，是 GB300 的 284K 的 2.3 倍，约为 GB300 线在每用户约 300 tok/s 处的 6.5 倍

NVIDIA 的 Vera Rubin 运行 DeepSeek V4.1 Flash 时将回复上限设为 2,048 个输出 token，而我们排行榜上其他 DeepSeek V4.1 Flash 结果为 16,384 个。约 2% 的回复达到上限，平均回复短了约十分之一（275 到 301 个 token，而其他为 319 到 335），这在一定程度上有利于 Vera Rubin 的吞吐量。

GLM-5.2 结果显示在更快速度下领先约 3 倍

GLM-5.2 拥有 753B 总参数和 40B 激活参数，采用 DeepSeek 风格的稀疏注意力。由于 GLM-5.2 与 GLM-5.3 共享同一架构，我们在一张排行榜图表中同时展示二者。

每 MW 总吞吐量对比输出速度GLM-5.2 与 5.3（最大值）

每请求解码速率，即每个请求在收到第一个 token 之后每秒收到的输出 token 数（不含收到首个 token 之前的等待时间）。图表默认显示各请求的第 25 百分位数，即四分之三的请求超过的速度。

• Vera Rubin NVL72 在每用户 84 tok/s 时达到每 MW 272M tokens/s 的峰值，是 GB300 NVL72 在每用户 68 tok/s 时 201M 的 1.35 倍
• 在每用户约 165 tok/s 时，Vera Rubin 服务 159M tokens/s per MW，约为相同速度下 GB300 线（约 53M）的 3.0 倍，且差距在直至每用户约 310 tok/s 的范围内保持在约 2.7 倍到 3 倍之间
• Vera Rubin 的最快结果为每用户 408 tok/s，是我们排行榜上最快的 GLM-5.2 结果，领先于 B300 的 333 tok/s 和 GB300 的 330 tok/s
• 以包含首 token 时间的端到端速度衡量，Vera Rubin 在整个范围内仍以每 MW 1.1 倍到 1.8 倍于 GB300 的吞吐量服务

Kimi K3 结果显示在中等速度下领先约 2.8 倍

Kimi K3 是我们收录的最大模型，总参数 2.8T、激活参数 104B，并采用在 93 层中的 69 层使用线性注意力的混合设计。

每 MW 总吞吐量对比输出速度Kimi K3（最大值）

每请求解码速率，即每个请求在收到第一个 token 之后每秒收到的输出 token 数（不含收到首个 token 之前的等待时间）。图表默认显示各请求的第 25 百分位数，即四分之三的请求超过的速度。

• 所有系统在 Kimi K3 上每 MW 服务的 token 数都远少于其他三个模型，其中 Vera Rubin NVL72 在每用户 41 tok/s 时达到每 MW 70M tokens/s 的峰值，是 GB300 NVL72 在 40 tok/s 时峰值 56M 的 1.26 倍
• 在每用户约 67 tok/s 时，Vera Rubin 的每 MW 吞吐量约为 GB300 线的 2.8 倍（59M 对约 21M），其 30-agent 配置在每用户 176 tok/s 时约为 GB300 线的 2.4 倍（9.6M 对约 4.0M）。NVIDIA 目前的 Vera Rubin 配置在每用户约 74 到 176 tok/s 之间存在空档
• Vera Rubin 的最快结果来自单台 8-GPU vLLM 服务器，为每用户 255 tok/s，是我们排行榜上最快的 Kimi K3 结果，领先于 B300（235）和 GB300（194）
• 在峰值吞吐量下，两个系统的首 token 时间都很长，Vera Rubin 的 2,048-agent 配置 p95 为 9.3 秒，GB300 的 768-agent 配置为 19 秒

NVIDIA 为 agentic 工作负载调优了其 Vera Rubin 技术栈

NVIDIA 分享了其构建 Vera Rubin 和 GB300 配置的方式。当前这套配置在 Vera Rubin 和 GB300 之间非常相似，因此大部分性能差异来自新一代机架的硬件升级，以及早期的 Rubin 专用内核和调优。这些技术包括：

• 跨内存层级的 KV 缓存。平均而言，一个请求的输入 token 有 97% 与上一个请求重复，因此前缀缓存至关重要，部署需要从 HBM 到主机内存（以及最终到磁盘）的每一个内存层级。大多数 Vera Rubin 配置通过 NVLink-C2C 将 KV cache 卸载到 CPU 内存，Vera 将其速度提升至每 superchip 1.8 TB/s，且传输与其他 GPU 工作重叠进行，因为漫长的 agentic 上下文以短合成提示所不具备的方式暴露出 GPU 到 CPU 的带宽。DeepSeek V4 Pro 的 prefill worker 配置了 120 到 200 GiB 主机内存用于 KV cache。DeepSeek V4.1 Flash 配置则将模型 196B 参数的 Engram 内存保存在 CPU 内存中而非 HBM 中。
• 使用 NVIDIA Dynamo 的会话感知路由。Agent 会话会一轮又一轮地回到同一上下文，因此将每个请求发送到已持有其缓存的 worker 是值得的。每个 Vera Rubin 配置都在 NVIDIA Dynamo——NVIDIA 的开源服务框架——之后运行，它使每个 agent 的各轮对话保持在同一个 prefill worker 上，并且在 DeepSeek V4 Pro、GLM-5.2 和 Kimi K3 上，将每个请求发送到缓存中持有其前缀最多的 worker。Kimi K3 的线性注意力层带来了一个复杂问题，因为其循环状态无法像标准 KV cache 那样回滚到较早的时间点，因此复用它需要在正确的位置保存快照。
• 采用宽专家并行的分离式服务。一轮对话可能增加几个到数万个 token,因此除最低并发配置外,prefill 都在独立的工作节点上运行,这样大的工具输出就不会拖慢其他所有 agent 的解码。NVIDIA 根据并发级别来配置两端规模,对于 DeepSeek V4 Pro,这意味着随着并发上升使用 1 到 6 个 4-GPU prefill 工作节点,模型的专家分布到最多 32 个解码 GPU 上,并且每个请求的 KV 缓存通过 NVLink 从 prefill 传递到 decode。Kimi K3 的最高吞吐配置还使用 DWDP(分布式权重数据并行),这是一种 TensorRT-LLM prefill 技术 如这篇论文所述.
• 针对批大小调优的投机解码。全部四个模型都使用投机解码(DeepSeek V4 Pro 和 Kimi K3 使用 DSpark 草稿模型,DeepSeek V4.1 Flash 使用内置的 DSpark 起草,GLM-5.2 使用自身的多 token 预测层),草稿长度针对每个并发级别进行调优,例如 DeepSeek V4 Pro 在较低并发时为 7 个 token,最高并发时为 3 个,因为投机在批较小且 GPU 有剩余算力时收益最大。DeepSeek V4 Pro 上实现约 5.7 倍结果的配置(每用户约 190 tok/s)起草 7 个 token。
• 针对 Rubin 调优的内核。NVIDIA 的 NVFP4 检查点使用针对 Rubin 调优的 NVFP4 内核以 4 位精度运行 MoE 专家,同时为每个模型的架构使用融合内核(例如 DeepSeek V4 Pro 的稀疏注意力和 Hyper-Connections)。同一个注意力内核必须处理从几个 token 到 1M 不等的输入,因此自动调优必须覆盖形状范围而非针对固定形状进行专门化——这是真实世界 agentic 工作负载所需要的,而固定形状基准测试则无法覆盖。
• 快速的主机端请求处理。每个请求都携带到目前为止的完整对话(在我们的工作负载中最多 132K token),因此服务前端必须在每一轮对长历史进行分词和转发。Dynamo 的路由器用 Rust 编写以保持低主机端延迟,DeepSeek V4 Pro 和 GLM-5.2 配置还添加了带分词缓存的快速分词器和精简的请求传输,而其他模型的配置则将每个工作节点固定到离其 GPU 最近的 CPU 核心和内存。

这些是在 Vera Rubin 上基于早期 Rubin 专用内核和调优的初步结果,NVIDIA 预计随着进一步优化的落地,性能将持续提升。

各模型 Vera Rubin 配置概览

延伸阅读

• 在以下平台比较所有系统 AA-AgentPerf 排行榜
• 阅读 AA-AgentPerf 方法论 以及 发布文章
• 在以下位置浏览每个结果背后的完整服务配置 配置浏览器

阅读最新

Reflection 发布 Beam，这是他们的首次模型发布

Reflection 的首个模型 Beam 在 Artificial Analysis 智能指数上得分 30，在美国开放权重模型中排名第 2

2026年10月16日

NVIDIA 发布 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B A9B

Nvidia 的 Nemotron 3.5 Super VL 现已成为领先的美国开放权重模型，在 Artificial Analysis 智能指数上得分 26

2026年10月15日