Artificial Analysis Articles수정일

NVIDIA Vera Rubin NVL72의 첫 AA-AgentPerf 결과

Artificial Analysis모든 아티클 2026년 10월 15일NVIDIA Vera Rubin NVL72의 첫 AA-AgentPerf 결과 NVIDIA의 Vera Rubin NVL72에 대한 초기 결과가 AA-AgentPerf에 공개되었습니다. 이 시스템은 메가와트당 총 처리량에서 전세대인 GB300 NVL72 대비 DeepSeek V4 Pro에서

이미지 출처 · Artificial Analysis Articles
Artificial Analysis

모든 아티클

2026년 10월 15일

NVIDIA Vera Rubin NVL72의 첫 AA-AgentPerf 결과

NVIDIA의 Vera Rubin NVL72에 대한 초기 결과가 AA-AgentPerf에 공개되었습니다. 이 시스템은 메가와트당 총 처리량에서 전세대인 GB300 NVL72 대비 DeepSeek V4 Pro에서 최대 약 5.7배, DeepSeek V4.1 Flash에서 약 5.4배, GLM-5.2에서 약 3.0배, Kimi K3에서 약 2.8배의 성능을 제공합니다. Vera Rubin은 Blackwell의 후속 제품이며, Vera Rubin NVL72는 Rubin GPU 72개와 Vera CPU 36개를 갖춘 랙 규모 시스템입니다.

2026년 10월 15일 기준, MW당 처리량에서 GB300 NVL72 대비 가장 큰 리드

  • 사용자당 약 190 tok/s에서 약 5.7배 DeepSeek V4 Pro
  • 사용자당 약 580 tok/s에서 약 5.4배 DeepSeek V4.1 Flash
  • 사용자당 약 165 tok/s에서 약 3.0배 GLM-5.2
  • 사용자당 약 67 tok/s에서 약 2.8배 Kimi K3
AA-AgentPerf 리더보드방법론 읽기구성(config) 살펴보기이 아티클과 차트는 2026년 10월 15일 기준 AA-AgentPerf 결과를 반영합니다. 모든 시스템에 대한 최신 결과는 다음을 참조하세요: AA-AgentPerf 리더보드.

에이전틱 코딩 워크로드는 효율적으로 서빙하기 어렵습니다

코딩 에이전트는 루프 방식으로 작동합니다. 모델이 추론하고 도구를 호출하면, 하네스가 해당 도구를 실행하고 그 출력을 대화에 추가하며, 전체 대화가 다음 단계를 위해 다시 모델로 전달됩니다. 각 요청은 이전의 모든 내용을 담고 있기 때문에, 에이전트가 파일을 읽고, 테스트를 실행하고, 편집을 수행하는 동안 컨텍스트는 계속 증가합니다(모델 자신의 응답은 짧게 유지됨). 따라서 에이전틱 트래픽은 채팅이나 많은 추론 벤치마크가 사용하는 고정 길이 프롬프트와 상당히 다른 모습을 보입니다.

AA-AgentPerf는 실제 코딩 에이전트 궤적(공개 코드 저장소의 이슈를 해결하는 에이전트가 생성한 것)을 다양한 동시성 수준에서 재현하며, 각 시뮬레이션된 에이전트는 세 개의 궤적을 순차적으로 수행하고 각 응답 후에 실제 도구 호출 소요 시간에서 추출한 도구 호출 시간만큼 일시 중지합니다. 요청은 최대 132K 입력 토큰을 담는 반면 응답은 대개 짧은 도구 호출에 불과하고, 평균적으로 요청 입력 토큰의 97%가 이전 요청과 반복됩니다.

서빙 스택이 이 반복되는 접두사를 KV 캐시에 유지하면 매번 전체 컨텍스트를 재처리하는 것이 아니라 각 턴에서 추가되는 토큰만 프리필하면 됩니다. 아래 예시에서, 더 긴 궤적 중 하나는 118개의 요청에 걸쳐 컨텍스트가 10K에서 116K 토큰으로 증가하며, 에이전트는 총 9.7M 입력 토큰을 모델에 전송하고(이 중 새로운 것은 116K뿐) 모델은 모든 응답에 걸쳐 20K 출력 토큰을 생성합니다.

하나의 에이전트 세션에서 요청당 입력 토큰

하나의 AA-AgentPerf 궤적을 이전 요청에서 반복된 접두사와 그 이후 추가된 토큰으로 분할한 것(o200k_base로 토큰화)
  • 이전 요청에서 반복됨
  • 이전 요청 이후 새로 추가됨

벤치마킹 시 특별한 처리가 필요한 에이전틱 추론의 고유한 특성은 다음과 같습니다:

  • KV 캐시 용량과 재사용 - 수천 개의 동시 에이전트가 각각 수만 개의 토큰으로 이루어진 컨텍스트를 보유할 수 있으며, 이는 도구 호출 일시 중지 동안 캐시에 유지되고 다음 요청을 위해 다시 찾아져야 합니다
  • 불균등한 프리필 - 각 턴은 긴 캐시된 접두사 위에 몇 개 토크넛에서 수만 개 토큰(예: 도구가 큰 파일을 반환할 때)까지 추가할 수 있습니다
  • 짧은 출력 - 많은 응답이 짧은 도구 호출이므로, 장문 생성보다 첫 토큰까지의 시간과 스케줄링 오버헤드가 더 중요합니다

AA-AgentPerf의 워크로드는 이러한 특성을 반영합니다:

최대 132K

요청당 입력 토큰, 1M 토큰 컨텍스트는 곧 지원 예정

단일 트라젝터리에서 최대 182회

요청

최대 11M

단일 트라젝터리에서 모델로 전송된 입력 토큰

최대 69K

도구가 큰 출력을 반환할 때 한 턴에 추가된 새 입력 토큰

최대 5 s

한 요청과 다음 요청 사이 도구 호출을 위한 일시 중지

97%

이전 요청에서 반복된 입력 토큰의 평균 비율

500개 궤적과 18,997개 요청에 걸친 AA-AgentPerf 워크로드 통계로, o200k_base로 토큰화되었습니다. 전체 세부 사항은 방법론 을 참조하세요.

Vera Rubin NVL72는 GB300 NVL72를 MW당 최대 ~5.7배 앞섭니다

Vera Rubin NVL72는 GB300 NVL72의 랙 스케일 설계를 유지하며, 단일 NVLink 도메인에 72개의 GPU와 36개의 CPU를 담고 있습니다. 각 Rubin GPU는 Blackwell Ultra와 동일한 288 GB의 메모리를 갖지만, 2.4배의 메모리 대역폭(HBM4 기반), 1.7배의 NVLink 대역폭, 2.3배의 dense NVFP4 연산 성능을 제공하며, Vera CPU는 GPU로의 NVLink-C2C 대역폭을 2배로 늘립니다. 이 링크는 CPU 메모리로 오프로드되는 KV 캐시를 전송하는 통로입니다.

GPU당Rubin (Vera Rubin NVL72)Blackwell Ultra (GB300 NVL72)
GPU 메모리288 GB HBM4288 GB HBM3E
메모리 대역폭19.2 TB/s8 TB/s
NVLink 대역폭3.0 TB/s (NVLink 6)1.8 TB/s (NVLink 5)
Dense NVFP4 연산35 PFLOPS15 PFLOPS
Sparse NVFP4 연산50 PFLOPS20 PFLOPS
CPUVera, 88 coresGrace, 72 cores
CPU-GPU 링크(슈퍼칩당)1.8 TB/s NVLink-C2C0.9 TB/s NVLink-C2C
이 결과에서 측정된 전력0.5 to 1.9 kW0.3 to 1.0 kW

NVIDIA의 다음 페이지에 있는 사양 Vera Rubin NVL72, Blackwell Ultra 및 GB300 NVL72 2026년 10월 기준. 측정 전력은 부하 상태에서 각 GPU 자체의 전력 소비량(GPU 및 해당 HBM으로, NVIDIA의 DCGM/SMI 텔레메트리가 보고한 수치이며, CPU, 네트워킹, 냉각은 제외)으로, 4개 모델에 대해 각 시스템의 프런티어에 있는 구성들에 걸쳐 측정되었습니다.

4개 모델에 걸친 결과

아래 각 차트는 사용자당 출력 속도에 대해 측정된 GPU 전력 1MW당 총 처리량을 표시합니다. 총 처리량은 입력 토큰(캐시된 것과 새로 프리필된 것)과 출력 토큰을 모두 계산하며, 그중 약 96%가 캐시된 입력입니다. 사용자당 속도는 첫 토큰까지의 시간을 제외한 요청들의 25번째 백분위수(p25)로, 이는 우리가 전반적으로 인용하는 속도입니다. 각 점은 설정된 에이전트 수에서의 서빙 구성이며, 화살표는 GB300 대비 Vera Rubin의 최대 리드폭을 표시합니다.

  • 최대 처리량에서 Vera Rubin NVL72는 DeepSeek V4 Pro에서 1MW당 272M tokens/s를 서빙하는 반면 GB300 NVL72는 239M(1.14배), DeepSeek V4.1 Flash에서는 571M 대 395M(1.45배), GLM-5.2에서는 272M 대 201M(1.35배), Kimi K3에서는 70M 대 56M(1.26배)입니다
  • Vera Rubin의 리드는 GB300의 처리량이 떨어지는 구간에서 가장 커지며, DeepSeek V4 Pro에서 사용자당 약 190 tok/s에서 약 5.7배, DeepSeek V4.1 Flash에서 약 580 tok/s에서 약 5.4배, GLM-5.2에서 약 165 tok/s에서 약 3.0배, Kimi K3에서 약 67 tok/s에서 약 2.8배에 이릅니다. DeepSeek V4 Pro에서 사용자당 약 120에서 약 165 tok/s로 올라가면 GB300은 MW당 처리량의 81%를 잃는 반면 Vera Rubin은 16%에 그칩니다
  • GPU당으로 보면 Vera Rubin의 리드는 더 벌어집니다: 최대 처리량에서 2.0배에서 2.5배, 그리고 DeepSeek V4 Pro에서 사용자당 약 165 tok/s에서 최대 약 12배, DeepSeek V4.1 Flash에서 약 580 tok/s에서 약 18배, GLM-5.2에서 약 200~310 tok/s 구간에서 약 7배, Kimi K3에서 약 176 tok/s에서 약 7배입니다
  • Vera Rubin의 가장 빠른 구성은 우리 리더보드에서 DeepSeek V4.1 Flash(906 tok/s, 모든 모델 중 가장 빠른 결과), GLM-5.2(408 tok/s), Kimi K3(255 tok/s)에 대해 최고의 사용자당 속도를 기록했습니다

더 높은 전력 효율은 토큰당 서빙 운영 비용을 낮추며, AI 데이터센터가 설치할 수 있는 가속기 수보다 소비할 수 있는 전력에 의해 점점 더 제한됨에 따라 동일한 데이터센터에서 더 많은 에이전트를 서빙할 수 있게 해줍니다. 예를 들어 사용자당 약 165 tok/s에서 동일한 GPU 전력 예산으로 Vera Rubin NVL72는 GB300 NVL72보다 약 5배 많은 DeepSeek V4 Pro 토큰을 서빙합니다. 우리 리더보드의 모든 점에는 그 뒤에 있는 서빙 구성이 configurations browser에서 함께 제공되므로, 팀들은 자체 성능 연구를 수행하는 대신 자신들의 하드웨어에 맞게 조정된 설정에서 시작할 수 있습니다.

DeepSeek V4 Pro 결과는 고속 영역에서 가장 넓은 리드를 보여줍니다

DeepSeek V4 Pro는 총 1.6T, 활성 49B 파라미터를 가지며, 긴 컨텍스트에서 KV 캐시를 작게 유지하기 위해 압축된 희소 어텐션과 고도로 압축된 어텐션의 하이브리드를 사용합니다.

MW당 총 처리량 대 출력 속도 DeepSeek V4 Pro 0813 (max)

가속기 전력 1메가와트당 총 서버 처리량(초당 입력 + 출력 토큰) 대 요청당 p25 출력 속도. 입력 토큰에는 KV-캐시 히트가 포함됩니다. 출력 속도는 첫 토큰까지의 시간을 제외합니다.

요청당 디코드 레이트, 즉 첫 토큰이 도착한 후 각 요청이 받는 초당 출력 토큰 수(첫 토큰을 받기까지의 대기 시간 제외). 차트는 기본적으로 요청들의 25번째 백분위수, 즉 요청의 4분의 3이 초과한 속도를 표시합니다.

  • 최대 처리량에서 Vera Rubin NVL72는 사용자당 69 tok/s에서 1MW당 272M tokens/s를 서빙하며, 이는 67 tok/s에서 239M인 GB300 NVL72의 1.14배이고, 사용자당 약 120 tok/s까지 약 1.1배 앞서 있습니다
  • 사용자당 약 130 tok/s를 넘어서면서 GB300의 처리량이 떨어지면 격차가 벌어지며, Vera Rubin은 사용자당 약 165 tok/s에서 1MW당 174M tokens/s를 서빙하는 반면 NVIDIA의 GB300 구성은 34M(5.1배)이고, 약 190 tok/s에서는 132M 대 GB300의 약 23M(약 5.7배)입니다. NVIDIA의 GB300 랙 구성은 사용자당 약 163 tok/s에서 정점에 이르므로, 그 이상에서 GB300 라인은 우리가 구축한 소형 4-GPU 구성에서 나옵니다
  • Vera Rubin의 가장 빠른 구성은 사용자당 298 tok/s로 실행되며, 사용자당 약 255 tok/s 이상에서는 그 4-GPU GB300 구성들이 Vera Rubin보다 MW당 더 많은 토큰을 서빙하여 GB300의 결과를 340 tok/s까지 확장합니다
  • Vera Rubin의 구성은 첫 토큰을 반환하는 데 더 오래 걸리며(사용자당 약 165 tok/s에서 중앙값 1.65초, GB300은 1.08초), 그 대기 시간을 포함하는 엔드투엔드 속도로 측정하면 대부분의 속도에서 GB300이 MW당 처리량에서 Vera Rubin과 동등하거나 이를 앞섭니다

DeepSeek V4.1 Flash 결과는 우리 리더보드에서 최고의 처리량과 속도를 기록했습니다

DeepSeek V4.1 Flash는 552B의 백본 파라미터를 가지며, 프리필 중 토큰당 8B, 디코드 중 16B를 활성화하고, 토큰 조회 방식으로 읽는 196B 파라미터 Engram 메모리를 갖추고 있습니다. 그 희소 어텐션과 FP4 KV 캐시는 KV 캐시를 토큰당 약 890바이트, DeepSeek V4 Flash의 약 4분의 1 수준으로 유지합니다.

MW당 총 처리량 대 출력 속도 DeepSeek V4.1 Flash (max)

가속기 전력 1메가와트당 총 서버 처리량(초당 입력 + 출력 토큰) 대 요청당 p25 출력 속도. 입력 토큰에는 KV-캐시 히트가 포함됩니다. 출력 속도는 첫 토큰까지의 시간을 제외합니다.

요청당 디코드 레이트, 즉 첫 토큰이 도착한 후 각 요청이 받는 초당 출력 토큰 수(첫 토큰을 받기까지의 대기 시간 제외). 차트는 기본적으로 요청들의 25번째 백분위수, 즉 요청의 4분의 3이 초과한 속도를 표시합니다.

  • Vera Rubin NVL72는 사용자당 68 tok/s에서 MW당 571M tokens/s의 최고치를 기록하며, 당사 리더보드의 네 가지 모델 전체에서 MW당 최고 처리량을 달성했고, B300의 최고치인 433M과 GB300 NVL72의 395M(각각 사용자당 31 및 23 tok/s)을 앞섰습니다.
  • Vera Rubin의 GB300 대비 우위는 사용자당 속도가 높아질수록 커져, 68 tok/s에서 약 1.8배에서 시작해 ~165 tok/s에서 약 2.9배, ~230~350 tok/s 구간에서 약 3.4배~3.6배, 디코드를 5개 워커에 분산하는 12-GPU 구성으로 사용자당 ~580 tok/s에서 약 5.4배에 도달합니다
  • Vera Rubin의 가장 빠른 결과인 에이전트 1개를 서빙하는 단일 4-GPU 서버의 사용자당 906 tok/s는 당사 리더보드에서 모든 모델을 통틀어 가장 빠른 결과로, DeepSeek V4.1 Flash 기준 B200의 669 tok/s와 GB300의 596 tok/s를 앞섭니다
  • GPU당으로 보면 Vera Rubin은 피크에서 651K tokens/s를 서빙하며, 이는 GB300의 284K의 2.3배이고, 사용자당 ~300 tok/s에서 GB300 라인의 약 6.5배입니다

NVIDIA의 Vera Rubin은 DeepSeek V4.1 Flash에서 응답을 2,048 출력 토큰으로 제한한 반면, 당사 리더보드의 다른 DeepSeek V4.1 Flash 결과는 16,384 토큰이었습니다. 약 2%의 응답이 상한에 도달했고 평균 응답 길이는 약 10분의 1 짧았으며(319~335 토큰 대비 275~301 토큰), 이는 Vera Rubin의 처리량에 다소 유리하게 작용합니다.

GLM-5.2 결과는 더 빠른 속도에서 약 3배의 우위를 보여줍니다

GLM-5.2는 총 753B, 활성 40B 파라미터에 DeepSeek 방식의 희소 어텐션을 갖추고 있습니다. 당사는 동일 아키텍처를 공유하므로 GLM-5.2와 GLM-5.3을 하나의 리더보드 차트에 함께 표시합니다.

MW당 총 처리량 대 출력 속도GLM-5.2 & 5.3 (max)

가속기 전력 1메가와트당 총 서버 처리량(초당 입력+출력 토큰) 대 요청별 p25 출력 속도. 입력 토큰은 KV-cache 히트를 포함합니다. 출력 속도는 첫 토큰까지의 시간을 제외합니다.

요청별 디코드 속도, 즉 첫 토큰 도착 후 각 요청이 받는 초당 출력 토큰 수(첫 토큰 수신까지의 대기 시간 제외). 차트는 기본적으로 요청 전체의 25번째 백분위수, 즉 요청의 4분의 3이 초과한 속도를 표시합니다.

  • Vera Rubin NVL72는 사용자당 84 tok/s에서 MW당 272M tokens/s로 정점을 찍으며, 이는 사용자당 68 tok/s에서 201M을 기록한 GB300 NVL72의 1.35배입니다
  • 사용자당 ~165 tok/s에서 Vera Rubin은 MW당 159M tokens/s를 서빙하며, 이는 동일 속도에서 GB300 라인(약 53M)의 약 3.0배이고, 이 격차는 사용자당 ~310 tok/s까지 약 2.7배~3배 사이에서 유지됩니다
  • Vera Rubin의 가장 빠른 결과인 사용자당 408 tok/s는 당사 리더보드에서 가장 빠른 GLM-5.2 결과로, B300의 333 tok/s와 GB300의 330 tok/s를 앞섭니다
  • 첫 토큰까지의 시간을 포함하는 엔드투엔드 속도 기준으로도 Vera Rubin은 전 구간에서 GB300의 MW당 처리량의 1.1배~1.8배를 서빙합니다

Kimi K3 결과는 중간 속도에서 약 2.8배의 우위를 보여줍니다

Kimi K3는 당사가 다루는 가장 큰 모델로, 총 2.8T, 활성 104B 파라미터를 가지며, 93개 레이어 중 69개에서 linear attention을 사용하는 하이브리드 설계입니다.

MW당 총 처리량 대 출력 속도Kimi K3 (max)

가속기 전력 1메가와트당 총 서버 처리량(초당 입력+출력 토큰) 대 요청별 p25 출력 속도. 입력 토큰은 KV-cache 히트를 포함합니다. 출력 속도는 첫 토큰까지의 시간을 제외합니다.

요청별 디코드 속도, 즉 첫 토큰 도착 후 각 요청이 받는 초당 출력 토큰 수(첫 토큰 수신까지의 대기 시간 제외). 차트는 기본적으로 요청 전체의 25번째 백분위수, 즉 요청의 4분의 3이 초과한 속도를 표시합니다.

  • 모든 시스템은 다른 세 모델에 비해 Kimi K3에서 MW당 훨씬 적은 토큰을 서빙하며, Vera Rubin NVL72는 사용자당 41 tok/s에서 MW당 70M tokens/s로 정점을 찍고, 이는 40 tok/s에서 56M의 피크를 기록한 GB300 NVL72의 1.26배입니다
  • 사용자당 ~67 tok/s에서 Vera Rubin은 GB300 라인의 MW당 처리량의 약 2.8배(59M 대 약 21M)를 서빙하며, 30 에이전트 구성은 사용자당 176 tok/s에서 GB300 라인의 약 2.4배(9.6M 대 약 4.0M)를 서빙합니다. NVIDIA의 현재 Vera Rubin 구성은 사용자당 ~74~176 tok/s 사이에 공백을 남깁니다
  • Vera Rubin의 가장 빠른 결과인 단일 8-GPU vLLM 서버의 사용자당 255 tok/s는 당사 리더보드에서 가장 빠른 Kimi K3 결과로, B300(235)과 GB300(194)을 앞섭니다
  • 양 시스템 모두 피크 처리량에서 첫 토큰까지의 시간이 길며, Vera Rubin의 2,048 에이전트 구성은 p95가 9.3 s, GB300의 768 에이전트 구성은 19 s입니다

NVIDIA는 Vera Rubin 스택을 에이전트형 워크로드에 맞게 튜닝했습니다

NVIDIA는 Vera Rubin 및 GB300 구성을 어떻게 구축했는지 공유했습니다. 현재 구성 세트는 Vera Rubin과 GB300 사이에서 매우 유사하므로, 성능 차이의 대부분은 최신 랙 세대의 업그레이드된 하드웨어와 초기 Rubin 전용 커널 및 튜닝에서 비롯됩니다. 해당 기법에는 다음이 포함됩니다:

  • 메모리 계층에 걸친 KV 캐싱. 요청의 입력 토큰 중 평균 97%가 직전 요청에서 반복되는 만큼 prefix caching은 필수이며, 배포는 HBM부터 호스트 메모리(그리고 최종적으로 디스크)까지 모든 메모리 계층이 필요합니다. 대부분의 Vera Rubin 구성은 NVLink-C2C를 통해 KV cache를 CPU 메모리로 오프로드하며, Vera는 이를 슈퍼칩당 1.8 TB/s로 두 배로 늘리고, 전송은 다른 GPU 작업과 겹칩니다. 긴 에이전트형 컨텍스트는 짧은 합성 프롬프트가 그렇지 않은 방식으로 GPU-CPU 대역폭을 노출하기 때문입니다. DeepSeek V4 Pro prefill 워커는 KV cache용으로 120~200 GiB의 호스트 메모리를 구성합니다. 대신 DeepSeek V4.1 Flash 구성은 모델의 196B 파라미터 Engram 메모리를 HBM이 아닌 CPU 메모리에 유지합니다.
  • NVIDIA Dynamo를 활용한 세션 인식 라우팅. 에이전트 세션은 매 턴 같은 컨텍스트로 돌아오므로, 각 요청을 이미 해당 캐시를 보유한 워커로 보내는 것이 유리합니다. 모든 Vera Rubin 구성은 NVIDIA의 오픈소스 서빙 프레임워크인 NVIDIA Dynamo 뒤에서 실행되며, 각 에이전트의 턴을 동일한 prefill 워커에 유지하고, DeepSeek V4 Pro, GLM-5.2, Kimi K3에서는 각 요청을 해당 프리픽스를 캐시에 가장 많이 보유한 워커로 보냅니다. Kimi K3의 linear-attention 레이어는 복잡성을 더하는데, 그 recurrent state는 표준 KV cache처럼 이전 시점으로 롤백할 수 없어 재사용하려면 적절한 지점에 저장된 스냅샷이 필요합니다.
  • 광범위한 엑스퍼트 병렬성을 갖춘 분리형(disaggregated) 서빙. 한 턴에는 몇 개 토큰에서 수만 개에 이르는 토큰이 추가될 수 있으므로, 가장 낮은 동시성 구성을 제외한 모든 구성에서 프리필(prefill)은 별도의 워커에서 실행되며, 이를 통해 대량의 도구 출력이 다른 모든 에이전트의 디코딩을 지연시키지 않습니다. NVIDIA는 동시성 수준에 맞춰 각 측의 규모를 조정하며, DeepSeek V4 Pro의 경우 동시성이 높아짐에 따라 4-GPU 프리필 워커 1~6개를 사용하고, 모델의 엑스퍼트는 최대 32개의 디코드 GPU에 분산되며, 각 요청의 KV 캐시는 NVLink를 통해 프리필에서 디코드로 전달됩니다. Kimi K3의 최고 처리량 구성 역시 TensorRT-LLM 프리필 기법인 DWDP(distributed weight data parallelism)를 사용하며, 이는 이 논문에서 설명됩니다.
  • 배치 크기에 맞게 조정된 스페큘레이티브 디코딩. 네 모델 모두 스페큘레이티브 디코딩을 사용하며(DeepSeek V4 Pro와 Kimi K3는 DSpark 드래프트 모델, DeepSeek V4.1 Flash는 내장 DSpark 드래프팅, GLM-5.2는 자체 멀티 토큰 예측 레이어), 드래프트 길이는 각 동시성 수준에 맞게 조정됩니다. 예를 들어 DeepSeek V4 Pro에서는 낮은 동시성에서 7개 토큰, 최고 동시성에서 3개 토큰을 사용하는데, 스페큘레이션이 가장 효과를 발휘하는 경우는 배치가 작고 GPU에 여유 연산 능력이 있을 때이기 때문입니다. DeepSeek V4 Pro에서 사용자당 약 190 tok/s의 약 5.7배 결과를 낸 구성은 드래프트 7개를 사용합니다.
  • Rubin에 맞게 튜닝된 커널. NVIDIA의 NVFP4 체크포인트는 Rubin에 맞게 튜닝된 NVFP4 커널에서 MoE 엑스퍼트를 4비트 정밀도로 실행하며, 각 모델 아키텍처(예: DeepSeek V4 Pro의 sparse attention 및 Hyper-Connections)를 위한 퓨전 커널을 함께 사용합니다. 동일한 어텐션 커널이 몇 개 토큰부터 1M에 이르는 입력을 처리해야 하므로, 오토튜닝은 고정된 형태에 특화하는 대신 형태 범위를 다루어야 하며, 이는 실제 에이전트 워크로드에 필요하지만 고정 형태 벤치마크에서는 검증되지 않는 부분입니다.
  • 빠른 호스트 측 요청 처리. 모든 요청은 지금까지의 전체 대화(당사 워크로드에서 최대 132K 토큰)를 포함하므로, 서빙 프런트엔드는 매 턴마다 긴 이력을 토큰화하여 전달해야 합니다. Dynamo의 라우터는 호스트 측 지연을 낮게 유지하기 위해 Rust로 작성되었으며, DeepSeek V4 Pro와 GLM-5.2 구성은 토큰화 캐시와 간소화된 요청 전송을 갖춘 빠른 토크나이저를 추가하고, 다른 모델의 구성은 각 워커를 GPU에 가장 가까운 CPU 코어와 메모리에 고정합니다.

이는 초기 Rubin 전용 커널과 튜닝을 적용한 Vera Rubin의 첫 번째 결과이며, NVIDIA는 추가 최적화가 이루어짐에 따라 성능이 계속 향상될 것으로 예상합니다.

모델별 Vera Rubin 구성 개요

DeepSeek V4 ProDeepSeek V4.1 FlashGLM-5.2Kimi K3
서빙 스택TensorRT-LLM with NVIDIA DynamovLLM with NVIDIA DynamoTensorRT-LLM with NVIDIA DynamoTensorRT-LLM, 그리고 1 에이전트용 vLLM, 둘 다 NVIDIA Dynamo 사용
가중치NVIDIA NVFP4 체크포인트DeepSeek 공개 체크포인트 (MXFP4)NVIDIA NVFP4 체크포인트NVIDIA NVFP4 체크포인트
프리필과 디코드분리형. DEP4 프리필 워커, 광범위 엑스퍼트 병렬 디코드(DEP16 또는 DEP32), 34 에이전트에서 TP4/EP4 디코드1 및 2 에이전트에서는 통합형(aggregated) TP4 또는 TP2. 64 에이전트부터 분리형, TP2 프리필 워커 1~2개와 DEP4 디코드(또는 TP2 디코드 워커 5개)분리형. 프리필 워커 1~3개(TP2/EP2 또는 DEP4), TP8, TP4/EP4 또는 DEP8 디코드1 에이전트에서는 vLLM의 통합형 TP8. 16 에이전트부터 분리형: 16 및 30 에이전트에서는 TP8 프리필 워커와 TP8 디코드 워커 3개, 512 에이전트부터는 DWDP16 프리필(1~2개 그룹)과 DEP16 디코드
스페큘레이티브 디코딩DSpark, 드래프트 토큰 3~7개내장 DSpark 드래프팅, 드래프트 토큰 6개MTP, 드래프트 토큰 4~8개DSpark, 드래프트 토큰 3~7개
KV 캐시FP8, 프리필 워커에서 호스트 메모리로 오프로드됨GPU 메모리에 유지되며, 모델의 Engram 메모리는 호스트 메모리로 오프로드됩니다FP8, 하나의 구성을 제외한 모든 구성에서 프리필 워커(prefill worker)의 호스트 메모리로 오프로드됨FP8, TensorRT-LLM 설정에서 호스트 메모리로 오프로드됨
라우팅KV 인식, 세션 어피니티 지원1,024 에이전트에서 두 개의 프리필 워커에 걸쳐 KV 인지, 그 외의 경우 단일 프리필 워커KV 인식, 세션 어피니티 지원KV 인식, 세션 어피니티 지원
설정당 GPU 수32에서 56까지2에서 12까지10에서 208에서 48까지

추가 자료

최신 소식 읽기

Reflection이 첫 번째 모델 출시인 Beam을 공개했습니다

Reflection의 첫 번째 모델인 Beam은 Artificial Analysis Intelligence Index에서 30점을 기록하며 미국 오픈 웨이트 모델 중 2위에 올랐습니다

2026년 10월 16일

NVIDIA RTX Spark N1X 노트북에 대한 최초의 AA-AgentPerf-Local 결과

NVIDIA RTX Spark N1X 노트북은 Qwen3.8 27B에서 우리의 로컬 에이전트 워크로드를 18.7분에 완료합니다.

2026년 10월 15일

NVIDIA, Nemotron 3.5 Super VL 및 Nemotron 3.5 Bolt 74B A9B 공개

Nvidia의 Nemotron 3.5 Super VL이 이제 미국 오픈 웨이트 모델 중 선두를 차지했으며, Artificial Analysis Intelligence Index에서 26점을 기록했습니다

2026년 10월 15일

원문 출처

Artificial Analysis Articles

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요