NVIDIA RTX Spark N1X 노트북의 첫 번째 AA-AgentPerf-Local 결과

전체 기사

NVIDIA RTX Spark N1X 노트북의 첫 번째 AA-AgentPerf-Local 결과

NVIDIA의 RTX Spark N1X는 최대 128 GB의 통합 메모리와 Blackwell GPU를 Windows 노트북에 탑재했습니다. 첫 번째 AA-AgentPerf-Local 결과에서 RTX Spark 노트북은 Qwen3.8 27B로 우리의 로컬 에이전트 워크로드를 18.7분 만에 완료했습니다.

AA-AgentPerf-Local은 기록된 에이전트 세션을 로컬 하드웨어에서 재생합니다

AA-AgentPerf-Local은 노트북이나 워크스테이션이 AI 에이전트를 얼마나 빠르게 서빙하는지 측정하는 오픈소스 도구 입니다. 이 도구는 기기에서 실행 중인 모델 서버에 기록된 에이전트 세션을 재생하며, 각 요청은 지금까지의 전체 대화를 담고 있고, 하드웨어가 모든 턴에 답하는 데 걸리는 시간을 측정합니다.

모델은 각 턴에 대해 기록된 정확한 수의 토큰을 생성하므로 모든 시스템이 동일한 작업을 수행합니다. 각 프롬프트의 대부분은 이전 프롬프트 내용의 반복입니다. 캐시를 유지하는 서버는 각 작업의 시작 프롬프트와 각 턴이 추가하는 내용(중앙값 약 450 토큰, 대규모 도구 출력 후에는 최대 6.4K)만 읽으면 됩니다.

8

기록된 에이전트 작업, PinchBench에서 5개, SWE-bench에서 3개

168

모델 턴, 각 턴은 지금까지의 전체 대화를 포함

56K

작업에서 가장 긴 시점의 컨텍스트 토큰 수

2.6M

워크로드 전체에서 모델에 전송된 프롬프트 토큰

196K

새로운 프롬프트 토큰 (나머지는 이전 프롬프트의 반복)

31K

출력 토큰, 모든 시스템에서 동일한 수

AA-AgentPerf-Local 기본 워크로드

우리의 리더보드는 아래 5개 시스템에서 27B 밀집 모델부터 124B 전문가 혼합 모델까지 4비트 정밀도의 세 가지 모델을 다룹니다. RTX Spark 노트북은 NVIDIA DGX Spark, AMD Ryzen AI Halo, MacBook Pro (M5 Pro), GeForce RTX 5090을 탑재한 데스크톱과 함께합니다.

시스템

MacBook Pro

M5 Pro · 64 GB · 20코어 GPU

AMD Ryzen AI Halo

NVIDIA DGX Spark

NVIDIA RTX Spark N1X

20코어 CPU · 6144코어 GPU

NVIDIA GeForce RTX 5090

모델

Qwen3.8 27B (Xhigh)

Qwen3.6 35B A3B (Reasoning)

Ling 3.0 Flash

RTX Spark는 DGX Spark의 칩을 Windows 노트북에 탑재

RTX Spark는 Arm 기반 Windows PC를 위한 NVIDIA의 플랫폼으로, NVIDIA는 이를 AI 에이전트를 로컬에서 실행하도록 설계된 제품으로 홍보합니다. N1X 칩은 본질적으로 DGX Spark의 GB10(NVIDIA 자체 레시피 카탈로그에서 RTX Spark를 GB10으로 표기)이며, 20코어 Arm CPU, 6,144코어 Blackwell GPU, 그리고 두 구성 요소가 공유하는 최대 128 GB의 LPDDR5X 메모리를 갖추고 있습니다. 노트북에서는 메모리가 더 빠르게 작동하여 DGX Spark보다 10% 더 많은 대역폭을 제공합니다(300 GB/s 대 273 GB/s). 다만 이 칩은 45~80 W(NVIDIA가 N1X 노트북에 명시한 범위)에서 작동하는 반면, GB10은 140 W로 정격이 매겨져 있습니다.

우리는 15인치 프로토타입을 테스트했다 Surface Laptop Ultra 메모리 128 GB를 갖추고 가격은 $5,899.99입니다. Arm용 Windows 11을 실행하며, GPU에서 llama.cpp의 네이티브 Windows 빌드로 모든 모델을 구동합니다. 우리는 전원을 연결하고 Windows를 고성능 전원 모드로 설정한 상태에서 테스트했습니다.

NVIDIA의 RTX Spark 페이지와 포팅 가이드, NVIDIA의 DGX Spark 문서 및 2026년 10월 기준 Apple 자료이며, 메모리 속도는 테스트한 시스템에서 보고된 수치입니다

각 시스템은 자체 레시피로 실행됩니다

우리는 각 시스템에 맞게 선택된 레시피로 각 모델을 실행하며, 벤더가 공개한 레시피가 존재하는 경우 이를 사용하므로, 런타임, 스페큘러티브 디코딩 및 4비트 가중치 포맷은 시스템마다 다릅니다. RTX Spark 노트북은 RTX Spark용 NVIDIA의 llama.cpp 레시피를 NVIDIA의 설정 그대로 AA-AgentPerf-Local에 포팅하여 실행합니다.

각 시스템의 최고 Qwen3.8 27B 결과를 만든 레시피

또한 IQ4_XS와 같은 더 작은 4비트 포맷을 포함해 Inco AI의 Splash, Apple Silicon용으로 DFlash speculative decoding을 사용하는 Metal 엔진을 테스트하고 있습니다. 정확도 검사를 통과하면 그 결과를 추가할 예정이며, 이 검사 결과도 곧 공개할 예정입니다. 초기 테스트에서 일부 시스템에서 더 빠른 완료 시간이 나타났습니다.

RTX Spark 노트북은 모델에 따라 8-19분 만에 워크로드를 완료합니다

• Qwen3.8 27B에서 RTX Spark 노트북은 18.7분 만에 워크로드를 완료하며, DGX Spark(17.3)에 근접하고, MacBook Pro(37.6)보다 2.0배 빠르고, Ryzen AI Halo(34.5)보다 1.8배 빠릅니다. GeForce RTX 5090 데스크톱이 4.9분으로 가장 빠릅니다.
• 토큰당 3B 파라미터를 활성화하는 Qwen3.6 35B A3B에서는 7.6분이 걸리며, DGX Spark(7.3)에 근접하고, Ryzen AI Halo(11.7)보다 1.5배 빠르고, MacBook Pro(11.9)보다 1.6배 빠릅니다.
• 리더보드에서 가장 큰 모델인 Ling 3.0 Flash에서는 15.3분이 걸리며, DGX Spark(14.9)에 근접하고 Ryzen AI Halo(25.1)보다 1.6배 빠릅니다. 77 GB의 가중치는 MacBook Pro나 RTX 5090에 들어가지 않습니다.

모델 및 시스템별 완료 시간

워크로드에 기록된 agent 작업의 모든 턴에 답하는 데 시스템이 걸리는 총 시간입니다. 턴은 대화 내역과 함께 하나씩 전송되며, 모델은 원래 기록과 같은 수의 토큰을 생성하므로 모든 시스템이 동일한 작업을 수행합니다. 도구 실행 시간은 포함되지 않습니다.

토큰당 3B 파라미터를 활성화하는 Qwen3.6 35B A3B는 모든 시스템에서 가장 빠른 모델이며, RTX Spark 노트북은 7.6분 만에 완료하는 반면 Ling 3.0 Flash는 15.3분, dense 모델인 Qwen3.8 27B는 18.7분이 걸립니다. GeForce RTX 5090 데스크톱은 32 GB에 들어가는 모든 모델에서 가장 빠른 시스템입니다.

완료 시간Qwen3.8 27B (Xhigh)

워크로드에 기록된 agent 작업의 모든 턴에 답하는 데 시스템이 걸리는 총 시간입니다. 턴은 대화 내역과 함께 하나씩 전송되며, 모델은 원래 기록과 같은 수의 토큰을 생성하므로 모든 시스템이 동일한 작업을 수행합니다. 도구 실행 시간은 포함되지 않습니다.

이 시스템들의 가격은 근사치이며 매주 변동합니다. 현재 가격 기준으로 $5,899.99의 RTX Spark 노트북은 MacBook Pro(약 $3,700)와 Ryzen AI Halo($4,000)보다 비싸지만 DGX Spark(약 $6,000)보다는 약간 저렴하고, RTX 5090 데스크톱은 약 $9,500(약 $7,000짜리 카드에 나머지 PC로 $2,500의 보수적 추정액 추가)으로 가장 비싼 시스템입니다. 아래 차트는 이 가격을 사용하며, 리더보드에서는 직접 가격을 입력할 수 있습니다.

완료 시간 대 가격Qwen3.8 27B (Xhigh)

워크로드에 기록된 agent 작업의 모든 턴에 답하는 데 시스템이 걸리는 총 시간입니다. 턴은 대화 내역과 함께 하나씩 전송되며, 모델은 원래 기록과 같은 수의 토큰을 생성하므로 모든 시스템이 동일한 작업을 수행합니다. 도구 실행 시간은 포함되지 않습니다.

2026년 10월 기준 미국 달러의 근사 현재 가격입니다. 여전히 출시 MSRP에 판매되는 시스템은 MSRP로 표시됩니다. 그래픽 카드는 카드 가격에 나머지 시스템 비용으로 $2,500(임의 추정액)을 더한 가격입니다. 본인이 받을 수 있는 가격을 반영하려면 직접 가격을 입력하세요.

더 살펴보기

• 모든 시스템과 모델을 비교하려면 노트북 & 워크스테이션 리더보드
• 각 결과의 전체 실행 명령을 보려면 구성 페이지
• 본인의 기계에서 어떤 레시피든 실행하려면 GitHub의 AA-AgentPerf-Local

최신 소식 읽기

Reflection이 첫 모델 출시작인 Beam을 공개했습니다

Reflection의 첫 모델인 Beam은 Artificial Analysis Intelligence Index에서 30점을 기록하며 미국 오픈 웨이트 모델 중 2위에 올랐습니다

2026년 10월 16일