NVIDIA Vera Rubin NVL72のAA-AgentPerf初の結果

すべての記事

NVIDIA Vera Rubin NVL72のAA-AgentPerf初の結果

NVIDIAのVera Rubin NVL72の初期結果がAA-AgentPerfで公開されました。 predecessorであるGB300 NVL72と比較して、DeepSeek V4 Proでメガワットあたり総スループット約5.7倍、DeepSeek V4.1 Flashで約5.4倍、GLM-5.2で約3.0倍、Kimi K3で約2.8倍を達成しています。Vera RubinはBlackwellの後継であり、Vera Rubin NVL72はラックスケールシステムで、72基のRubin GPUと36基のVera CPUを搭載しています。

2026年10月15日時点での、GB300 NVL72と比較したMWあたりのスループットにおける最大のリード

• ~5.7倍 DeepSeek V4 Pro ユーザーあたり約190 tok/s
• ~5.4倍 DeepSeek V4.1 Flash ユーザーあたり約580 tok/s
• ~3.0x GLM-5.2 ユーザーあたり約165 tok/s
• ~2.8倍Kimi K3、ユーザーあたり約67 tok/s

エージェント型のコーディングワークロードを効率的に処理することは難しい

コーディングエージェントはループの中で動作します。モデルが推論を行ってツールを呼び出し、ハーネスがそのツールを実行してその出力を会話に追記し、会話全体が次のステップのためにモデルに戻されます。各リクエストにはそれまでのすべてが含まれるため、エージェントがファイルを読み、テストを実行し、編集を行うにつれて(モデル自身の返信は短く保たれながら)コンテキストは増大し続けます。そのため、エージェンティックなトラフィックは、チャットや多くの推論ベンチマークが使用する固定長プロンプトとはかなり異なるものに見えます。

AA-AgentPerf は、実際のコーディングエージェントの軌跡(パブリックなコードリポジトリの課題を解決するエージェントによって生成されたもの)を、さまざまな同時実行レベルで再生します。各シミュレートされたエージェントは 3 つの軌跡を順番に処理し、各応答の後に、実際のツール呼び出し時間から抽出されたツール呼び出し時間だけ一時停止します。リクエストは最大 132K の入力トークンを伴う一方、応答は多くの場合短いツール呼び出しにすぎず、平均してリクエストの入力トークンの 97% が前回のリクエストと重複しています。

提供スタックがこの繰り返されるプレフィックスをKVキャッシュに保持していれば、毎回コンテキスト全体を再処理するのではなく、各ターンで追加されるトークンだけをプリフィルすればよくなります。以下の例では、より長い軌跡の1つが118リクエストにわたってコンテキスト10Kから116Kトークンへと成長し、エージェントは合計9.7Mの入力トークンをモデルに送信し(そのうち新しいのは116Kのみ)、モデルはすべての応答で20Kの出力トークンを生成しています。

1エージェントセッションにおけるリクエストごとの入力トークン

• 前回のリクエストから繰り返し
• 前回のリクエストからの新着

ベンチマーク時に特別な対応を必要とする、エージェント型推論の独特な特徴には以下のようなものがあります。

• KVキャッシュの容量と再利用。何千もの同時実行エージェントがそれぞれ数万トークンのコンテキストを保持することがあり、そのキャッシュはツール呼び出しの中断の間も保持され、次のリクエストの際に再び見つけられる必要があるためです。
• 不均一なプリフィル。各ターンで、長くキャッシュされたプレフィックスの上に、数トークンから数万トークン(例:ツールが大きなファイルを返す場合)までが追加される
• 短い出力。多くの応答は短いツール呼び出しであるため、長文生成の場合よりも最初のトークンまでの時間やスケジューリングのオーバーヘッドがより重要になります。

AA-AgentPerf のワークロードは以下の特徴を捉えています:

最大132K

リクエストごとの入力トークン(まもなく1Mトークンのコンテキストが登場予定)

最大182

1回の軌跡におけるリクエスト数

最大11M

1回の軌跡全体でモデルに送信された入力トークン数

最大69K

ツールが大きな出力を返した際に、1ターンで追加される新しい入力トークン数

最大5秒

あるリクエストと次のリクエストの間のツール呼び出しの一時停止時間

97%

前回のリクエストから繰り返される入力トークンの割合(平均)

500の軌跡と18,997のリクエストにわたるAA-AgentPerfワークロード統計。o200k_baseでトークン化。詳細については、 手法 をご覧ください。

Vera Rubin NVL72はGB300 NVL72を最大約5.7倍/MWでリード

Vera Rubin NVL72はGB300 NVL72のラックスケール設計を維持し、単一のNVLinkドメイン内に72基のGPUと36基のCPUを搭載します。各Rubin GPUはBlackwell Ultraと同じ288 GBのメモリを備えますが、メモリ帯域幅は2.4倍(HBM4による)、NVLink帯域幅は1.7倍、デンスNVFP4演算性能は2.3倍となり、Vera CPUはGPUへのNVLink-C2C帯域幅を2倍にします。これはCPUメモリにオフロードされたKVキャッシュを伝送するリンクです。

NVIDIAの仕様は Vera Rubin NVL72, Blackwell Ultra および GB300 NVL72 2026年10月時点のページ数。実測電力は、各システムにおける4モデルのフロンティア構成での、各GPU自身の負荷時消費電力(GPUおよびそのHBMの消費電力で、NVIDIAのDCGM/SMIテレメトリによる報告値であり、CPU、ネットワーキング、冷却は含まない)を指す。

4つのモデルにおける結果

以下の各グラフは、測定されたGPU電力1MWあたりの総スループットを、ユーザーあたりの出力速度に対してプロットしたものです。総スループットには入力トークン(キャッシュ済みと新規プレフィルの両方)と出力トークンが含まれ、その約96%がキャッシュ済み入力です。ユーザーあたりの速度は、最初のトークンまでの時間を除いたリクエスト全体の25パーセンタイル(p25)であり、本稿を通じて引用する速度はこの値です。各プロット点は一定数のエージェントにおけるサービング設定を示し、矢印はGB300に対するVera Rubinの最大の優位性を示しています。

• 最大スループット時、Vera Rubin NVL72はDeepSeek V4 ProでMWあたり272Mトークン/sを処理し、GB300 NVL72の239M(1.14倍)、DeepSeek V4.1 Flashで571M対395M(1.45倍)、GLM-5.2で272M対201M(1.35倍)、Kimi K3で70M対56M(1.26倍)に対する。
• Vera RubinのリードはGB300のスループットが落ち込む領域で最大となり、DeepSeek V4 Proでユーザーあたり約190 tok/sの際に約5.7倍、DeepSeek V4.1 Flashで約580 tok/sの際に約5.4倍、GLM-5.2で約165 tok/sの際に約3.0倍、Kimi K3で約67 tok/sの際に約2.8倍に達します。DeepSeek V4 Proでユーザーあたり約120 tok/sから約165 tok/sへ引き上げる際、GB300はMWあたりスループットの81%を失うのに対し、Vera Rubinは16%にとどまります
• GPUあたりで見ると、Vera Rubinのリードはさらに広がります:ピークスループットで2.0倍から2.5倍、DeepSeek V4 Proではユーザーあたり約165 tok/sで最大約12倍、DeepSeek V4.1 Flashでは約580 tok/sで約18倍、GLM-5.2では約200〜約310 tok/sの間で約7倍、Kimi K3では約176 tok/sで約7倍です。
• Vera Rubinの最速構成は、リーダーボード上でDeepSeek V4.1 Flash(906 tok/s、全モデル中で最速の結果)、GLM-5.2(408 tok/s)、Kimi K3(255 tok/s)のユーザーあたり最高速度を記録しました。

より高い電力効率はトークン1つあたりの提供コストを下げ、AIデータセンターは設置できるアクセラレータの数よりも引き込める電力によってますます制約されるようになっているため、同じデータセンターからより多くのエージェントを提供できるようにもなります。例えば、ユーザーあたり約165 tok/sにおいて、同じGPU電力予算で、GB300 NVL72に比べてVera Rubin NVL72では約5倍のDeepSeek V4 Proトークンを提供できます。リーダーボードのすべてのエントリには、その背後にあるサービング設定が付随しており、当社の 設定ブラウザーそのため、チームは独自のパフォーマンス調査を行う必要がなく、自分たちのハードウェアに合わせてチューニングされた構成から始めることができます。

DeepSeek V4 Proの結果は、高速域で最も大きな差を示している

DeepSeek V4 Proは合計1.6T、アクティブパラメータ49Bを持ち、圧縮スパースと強く圧縮されたアテンションのハイブリッドを使用することで、長いコンテキストでもKVキャッシュを小さく保っています。

MWあたり総スループット vs. 出力速度 DeepSeek V4 Pro 0813 (最大)

リクエストごとのデコード速度、すなわち最初のトークンが到着した後に各リクエストが受け取る1秒あたりの出力トークン数(最初のトークンを受け取るまでの待ち時間は除く)。チャートのデフォルトはリクエスト全体の25パーセンタイル、つまりリクエストの4分の3が上回った速度です。

• ピークスループットにおいて、Vera Rubin NVL72は1MWあたり272Mトークン/秒をユーザーあたり69トークン/秒で提供し、GB300 NVL72のユーザーあたり67トークン/秒での239Mの1.14倍となり、ユーザーあたり約120トークン/秒までは約1.1倍の優位を保ちます
• ユーザーあたり約130トークン/秒を超えると差が開き、GB300のスループットは低下します。Vera Rubinはユーザーあたり約165トークン/秒で1MWあたり174Mトークン/秒を提供するのに対し、NVIDIAのGB300構成は34M(5.1倍差)、ユーザーあたり約190トークン/秒では132M対GB300の約23M(約5.7倍差)となります。NVIDIAのGB300ラック構成はユーザーあたり約163トークン/秒で頭打ちになるため、それ以上のGB300の結果は、我々が構築した小型の4-GPU構成によるものです
• Vera Rubinの最速構成はユーザーあたり298トークン/秒で動作し、ユーザーあたり約255トークン/秒を超えると、それらの4-GPU GB300構成はVera Rubinよりも1MWあたり多くのトークンを提供し、GB300の結果は340トークン/秒まで拡張されます
• Vera Rubinの構成は最初のトークンを返すまでに時間がかかり(ユーザーあたり約165トークン/秒で中央値1.65秒、GB300は1.08秒)、その待ち時間を含むエンドツーエンド速度で測定すると、ほとんどの速度帯でGB300が1MWあたりのスループットでVera Rubinに匹敵またはそれを上回ります

DeepSeek V4.1 Flashの結果が、当リーダーボード上で最高のスループットと速度を記録しました

DeepSeek V4.1 Flashは552Bのバックボーンパラメータを持ち、そのうちプレフィル中はトークンごとに8B、デコード中は16Bを活性化します。さらに、トークンルックアップによって読み取る196BパラメータのEngramメモリを備えています。そのスパースアテンションとFP4 KVキャッシュにより、KVキャッシュはトークンあたり約890バイトに抑えられ、DeepSeek V4 Flashの約4分の1です。

1MWあたりの総スループット vs. 出力速度 DeepSeek V4.1 Flash(max)

リクエストごとのデコード速度、すなわち最初のトークンが到着した後に各リクエストが受け取る1秒あたりの出力トークン数(最初のトークンを受け取るまでの待ち時間は除く)。チャートのデフォルトはリクエスト全体の25パーセンタイル、つまりリクエストの4分の3が上回った速度です。

• Vera Rubin NVL72は、1ユーザーあたり68 tok/sで1MWあたり571M tokens/sのピークに達し、4モデルすべての中でリーダーボード上で最高のMWあたりスループットとなり、B300のピーク433MおよびGB300 NVL72の395M(それぞれ1ユーザーあたり31および23 tok/s)を上回りました
• Vera RubinのGB300に対するリードはユーザーあたり速度が上がるにつれて拡大し、68 tok/sでおよそ1.8倍、~165 tok/sでおよそ2.9倍、~230〜~350 tok/sの間で~3.4〜~3.6倍となり、12 GPU構成でデコードを5つのワーカーに分散させた場合、ユーザーあたり~580 tok/sでおよそ5.4倍に達します
• Vera Rubinの最速結果である、1体のエージェントに対応する単一の4 GPUサーバーによるユーザーあたり906 tok/sは、当リーダーボード上のあらゆるモデルの中で最速の結果であり、DeepSeek V4.1 FlashにおいてB200の669 tok/sおよびGB300の596 tok/sを上回っています
• GPUあたりでは、Vera Rubinはピークで651Kトークン/sを処理し、GB300の284Kの2.3倍、ユーザーあたり~300 tok/sのGB300ラインのおよそ6.5倍です

NVIDIAのVera RubinでのDeepSeek V4.1 Flashの実行は、返答が2,048出力トークンに制限されており、当リーダーボード上の他のDeepSeek V4.1 Flashの結果の16,384トークンと比較されます。返答の約2%が上限に達し、平均返答長は約1割短く(319〜335トークンに対し275〜301トークン)、これはVera Rubinのスループットにわずかに有利に働きます。

GLM-5.2の結果は、高速域でおよそ3倍のリードを示しています

GLM-5.2は合計753B、アクティブ40Bパラメータを持ち、DeepSeek方式のスパースアテンションを採用しています。GLM-5.2とGLM-5.3はアーキテクチャを共有しているため、1つのリーダーボードチャートにプロットしています。

MWあたり総スループット対出力速度 GLM-5.2 & 5.3 (max)

リクエストあたりのデコードレート、すなわち最初のトークンが到着した後(最初のトークンを受信するまでの待ち時間を除く)に各リクエストが受信する出力トークン/秒。チャートはデフォルトでリクエスト全体の25パーセンタイル、つまりリクエストの4分の3が超えた速度を表示します。

• Vera Rubin NVL72はユーザーあたり84 tok/sでMWあたり272Mトークン/sのピークに達し、ユーザーあたり68 tok/sでのGB300 NVL72の201Mの1.35倍です
• ユーザーあたり~165 tok/sで、Vera RubinはMWあたり159Mトークン/sを処理し、同速度のGB300ライン(~53M)のおよそ3.0倍であり、その差はユーザーあたり~310 tok/sまで~2.7倍〜~3倍の間に保たれます
• Vera Rubinの最速結果であるユーザーあたり408 tok/sは、当リーダーボード上で最速のGLM-5.2の結果であり、B300の333 tok/sおよびGB300の330 tok/sを上回っています
• 最初のトークンまでの時間を含むエンドツーエンド速度で測ると、Vera Rubinは依然として範囲全体にわたりMWあたりGB300のスループットの1.1倍から1.8倍を処理しています

Kimi K3の結果は、中程度の速度でおよそ2.8倍のリードを示しています

Kimi K3は取り上げるモデルの中で最大で、合計2.8T、アクティブ104Bパラメータを持ち、93層のうち69層で線形アテンションを使用するハイブリッド設計です。

MWあたり総スループット対出力速度 Kimi K3 (max)

リクエストあたりのデコードレート、すなわち最初のトークンが到着した後(最初のトークンを受信するまでの待ち時間を除く)に各リクエストが受信する出力トークン/秒。チャートはデフォルトでリクエスト全体の25パーセンタイル、つまりリクエストの4分の3が超えた速度を表示します。

• すべてのシステムは、他の3モデルと比べKimi K3ではMWあたりのトークン数がはるかに少なく、Vera Rubin NVL72はユーザーあたり41 tok/sでMWあたり70Mトークン/sのピークに達し、40 tok/sでのGB300 NVL72のピーク56Mの1.26倍です
• ユーザーあたり~67 tok/sで、Vera RubinはGB300ラインのMWあたりスループットのおよそ2.8倍(59M対~21M)を処理し、その30エージェント構成はユーザーあたり176 tok/sでGB300ラインのおよそ2.4倍(9.6M対~4.0M)を処理します。NVIDIAの現在のVera Rubin構成は、ユーザーあたり~74〜~176 tok/sの間に空白を残しています
• Vera Rubinの最速結果である、単一の8 GPU vLLMサーバーによるユーザーあたり255 tok/sは、当リーダーボード上で最速のKimi K3の結果であり、B300(235)およびGB300(194)を上回っています
• 両システムともピークスループットでは最初のトークンまでの時間が長く、Vera Rubinの2,048エージェント構成でp95が9.3秒、GB300の768エージェント構成で19秒です

NVIDIAはエージェント系ワークロード向けにVera Rubinスタックをチューニングしました

NVIDIAはVera RubinとGB300の構成をどのように構築したかを共有しました。現在の構成セットはVera RubinとGB300で非常に似ているため、パフォーマンスの差の大部分は、新しいラック世代の強化されたハードウェアと、初期のRubin専用カーネルおよびチューニングによるものです。その技術には以下が含まれます:

• メモリ階層間のKVキャッシング。リクエストの入力トークンの平均97%が直前のリクエストからの繰り返しであるため、プレフィックスキャッシングは不可欠であり、デプロイにはHBMからホストメモリ(最終的にはディスク)までのすべてのメモリ階層が必要です。Vera Rubinの構成の大部分は、NVLink-C2C経由でKVキャッシュをCPUメモリにオフロードしており、Veraはスーパーチップあたり1.8 TB/sに倍増されており、転送は他のGPU作業とオーバーラップします。長いエージェント系コンテキストは、短い合成プロンプトでは見えないGPUからCPUへの帯域幅を露呈させるためです。DeepSeek V4 Proのプリフィルワーカーには、KVキャッシュ用に120〜200 GiBのホストメモリが構成されています。DeepSeek V4.1 Flashの構成では代わりに、モデルの196BパラメータのEngramメモリをHBMではなくCPUメモリに保持します。
• NVIDIA Dynamoによるセッション対応ルーティング。エージェントセッションはターンごとに同じコンテキストに戻るため、各リクエストをすでにキャッシュを保持しているワーカーに送ることが有効です。すべてのVera Rubin構成はNVIDIAのオープンソースサービングフレームワークであるNVIDIA Dynamoの背後で動作し、各エージェントのターンを同じプリフィルワーカーに保持し、DeepSeek V4 Pro、GLM-5.2、Kimi K3では、各リクエストをプレフィックスの最も多くをキャッシュに保持しているワーカーに送ります。Kimi K3の線形アテンション層は複雑さを加えます。そのリカレント状態は標準のKVキャッシュのように以前の時点へロールバックできないため、再利用には適切な場所で保存されたスナップショットが必要です。
• ワイドエキスパート並列による分離型サービング。1ターンで追加されるのは数トークンから数万トークンに及ぶため、最も同時実行数の低い構成を除き、プリフィルは別のワーカーで実行され、大きなツール出力が他のすべてのエージェントのデコードを滞らせることはない。NVIDIAは各側を同時実行レベルに応じてサイズ設定しており、DeepSeek V4 Proでは同時実行数の上昇に伴い1〜6基の4 GPUプリフィルワーカーを使用し、モデルのエキスパートは最大32基のデコードGPUに分散され、各リクエストのKVキャッシュはNVLink経由でプリフィルからデコードへ渡される。Kimi K3の最高スループット構成も、TensorRT-LLMのプリフィル手法であるDWDP（分散重みデータ並列）を使用している この論文で解説されている.
• バッチサイズに合わせて調整された投機的デコーディング。4モデルすべてが投機的デコーディングを使用している（DeepSeek V4 ProとKimi K3はDSparkドラフトモデル、DeepSeek V4.1 Flashは内蔵のDSparkドラフティング、GLM-5.2は独自のマルチトークン予測レイヤー）。ドラフト長は各同時実行レベルに合わせて調整されており、例えばDeepSeek V4 Proでは低同時実行時の7トークンから最高時の3トークンまで変わる。投機はバッチが小さくGPUに計算の余裕がある場合に最も効果を発揮するためである。DeepSeek V4 Proで約5.7倍の結果を生んだ構成は、ユーザーあたり約190 tok/sで、ドラフト長7を使用している。
• Rubin向けに調整されたカーネル。NVIDIAのNVFP4チェックポイントは、Rubin向けに調整されたNVFP4カーネル上でMoEエキスパートを4ビット精度で実行し、各モデルのアーキテクチャ向けの融合カーネル（DeepSeek V4 ProのスパースアテンションやHyper-Connectionsなど）と併用される。同じアテンションカーネルが数トークンから1Mまでの入力を処理する必要があるため、自動チューニングは固定の形状に特化するのではなく、形状の範囲をカバーしなければならない。これは実世界のエージェント型ワークロードに必要とされるものであり、固定形状のベンチマークでは検証されない。
• 高速なホスト側リクエスト処理。すべてのリクエストにはそれまでの会話全体が含まれる（当ワークロードでは最大132Kトークン）ため、サービングフロントエンドは毎ターンで長い履歴をトークン化して転送する必要がある。Dynamoのルーターはホスト側レイテンシを低く保つためRustで書かれており、DeepSeek V4 ProとGLM-5.2の構成ではトークン化キャッシュを備えた高速トークナイザーと合理化されたリクエスト転送を追加し、他のモデルの構成では各ワーカーをそのGPUに最も近いCPUコアとメモリに固定している。

これらは初期のRubin固有カーネルとチューニングを用いたVera Rubinの初回結果であり、NVIDIAはさらなる最適化の投入に伴い性能が改善し続けると期待している。

各モデルのVera Rubin構成の概要

関連資料

• あらゆるシステムを市場で比較しよう AA-AgentPerf リーダーボード
• 次をお読みください AA-AgentPerf手法 および 発表記事
• 各結果の背後にある完全なサービング構成を、以下でご覧いただけます: 設定ブラウザー

最新記事を読む

Reflection社は初のモデル「Beam」をリリースした

Reflection社の初のモデルであるBeamは、Artificial Analysis Intelligence Indexで30を記録し、米国のオープンウェイトモデルの中で第2位に位置しています。

2026年10月16日

NVIDIA、Nemotron 3.5 Super VL および Nemotron 3.5 Bolt 74B A9B をリリース

NvidiaのNemotron 3.5 Super VLが現在、米国のオープンウェイトモデルの首位に立ち、Artificial Analysis Intelligence Indexで26を記録しました

2026年10月15日