Erste AA-AgentPerf-Local-Ergebnisse für ein NVIDIA RTX Spark N1X Notebook

Alle Artikel

Erste AA-AgentPerf-Local-Ergebnisse für ein NVIDIA RTX Spark N1X Notebook

NVIDIAs RTX Spark N1X bietet bis zu 128 GB Unified Memory und eine Blackwell-GPU in einem Windows-Notebook. In unseren ersten AA-AgentPerf-Local-Ergebnissen absolviert ein RTX-Spark-Notebook unsere lokale Agenten-Workload mit Qwen3.8 27B in 18,7 Minuten.

AA-AgentPerf-Local spielt aufgezeichnete Agenten-Sitzungen auf lokaler Hardware ab

AA-AgentPerf-Local ist unser Open-Source-Werkzeug zur Messung, wie schnell ein Laptop oder eine Workstation einen KI-Agenten bedient. Es spielt aufgezeichnete Agenten-Sitzungen gegen einen auf dem Rechner laufenden Modellserver ab, wobei jede Anfrage den bisherigen gesamten Gesprächsverlauf enthält, und misst, wie lange die Hardware benötigt, um jede Runde zu beantworten.

Das Modell erzeugt exakt die Anzahl der Token, die für jede Runde aufgezeichnet wurde, sodass jedes System dieselbe Arbeit leistet. Der Großteil jedes Prompts ist eine Wiederholung des Inhalts des vorherigen Prompts. Ein Server, der seinen Cache beibehält, muss nur den einleitenden Prompt jeder Aufgabe und das lesen, was jede Runde hinzufügt (im Median etwa 450 Token, und bis zu 6,4K nach einer großen Tool-Ausgabe).

8

Aufgezeichnete Agenten-Aufgaben, fünf von PinchBench und drei von SWE-bench

168

Modellrunden, die jeweils den bisher vollen Gesprächsverlauf enthalten

56K

Token an Kontext am längsten Punkt einer Aufgabe

2,6M

An das Modell gesendete Prompt-Token über die gesamte Workload

196K

Neue Prompt-Token (der Rest wiederholt einen früheren Prompt)

31K

Ausgabe-Token, auf jedem System die gleiche Anzahl

AA-AgentPerf-Local-Standard-Workload

Unsere Bestenliste umfasst drei Modelle mit 4-Bit-Präzision, von einem 27B-Dense-Modell bis zu einem 124B-Mixture-of-Experts-Modell, auf den fünf folgenden Systemen. Das RTX-Spark-Notebook gesellt sich zu NVIDIA DGX Spark, dem AMD Ryzen AI Halo, einem MacBook Pro (M5 Pro) und einem Desktop mit einer GeForce RTX 5090.

Systeme

MacBook Pro

M5 Pro · 64 GB · 20-Kern-GPU

AMD Ryzen AI Halo

NVIDIA DGX Spark

NVIDIA RTX Spark N1X

20-Kern-CPU · 6144-Kern-GPU

NVIDIA GeForce RTX 5090

Modelle

Qwen3.8 27B (Xhigh)

Qwen3.6 35B A3B (Reasoning)

Ling 3.0 Flash

RTX Spark bringt den Chip des DGX Spark in ein Windows-Laptop

RTX Spark ist NVIDIAs Plattform für Windows on Arm PCs, die NVIDIA als dafür konzipiert anpreist, KI-Agenten lokal auszuführen. Sein N1X-Chip ist im Wesentlichen der GB10 aus dem DGX Spark (NVIDIAs eigene Rezeptkatalogliste führt RTX Spark als GB10), mit einer 20-Kern-Arm-CPU, einer 6.144-Kern-Blackwell-GPU und bis zu 128 GB LPDDR5X-Speicher, der sich die beiden teilen. Im Laptop läuft der Speicher schneller und bietet 10% mehr Bandbreite als der DGX Spark (300 GB/s gegenüber 273 GB/s). Der Chip läuft jedoch mit 45 bis 80 W (NVIDIAs angegebener Bereich für N1X-Laptops), während der GB10 mit 140 W spezifiziert ist.

Wir haben einen Prototyp getestet, 15 Zoll Surface Laptop Ultra mit 128 GB Speicher, zum Preis von 5.899,99 $. Es läuft mit Windows 11 on Arm und bedient jedes Modell mit einem nativen Windows-Build von llama.cpp auf der GPU. Wir haben es mit angeschlossenem Netzteil getestet, wobei Windows auf den Hochleistungs-Energieplan eingestellt war.

Spezifikationen von NVIDIAs RTX Spark -Seite und Portierungsleitfaden, NVIDIAs DGX Spark-Dokumentation und Apple Stand Oktober 2026, mit Speichergeschwindigkeiten wie von den von uns getesteten Systemen angegeben

Jedes System läuft mit seinem eigenen Rezept

Wir betreiben jedes Modell mit einem für jedes System gewählten Rezept und verwenden das veröffentlichte Rezept des Herstellers, wo eines existiert, sodass sich Laufzeitumgebung, speculative decoding und 4-Bit-Gewichtsformat zwischen den Systemen unterscheiden. Das RTX Spark Laptop läuft mit NVIDIAs llama.cpp-Rezepten für RTX Spark, portiert in AA-AgentPerf-Local mit NVIDIAs Einstellungen.

Das Rezept hinter dem schnellsten Qwen3.8 27B-Ergebnis jedes Systems

Wir testen außerdem weitere Gewichtungsformate und Runtimes, darunter kleinere 4-Bit-Formate wie IQ4_XS und Inco AIs Splash, eine Metal-Engine für Apple Silicon, die DFlash Speculative Decoding verwendet. Wir werden deren Ergebnisse hinzufügen, sobald sie unsere Genauigkeitsprüfungen bestehen, die wir in Kürze veröffentlichen werden. Erste Tests zeigen schnellere Fertigstellungszeiten auf einigen Systemen.

Der RTX Spark Laptop schließt die Workload in 8-19 Minuten ab, je nach Modell

• Bei Qwen3.8 27B schließt der RTX Spark Laptop die Workload in 18.7 Minuten ab, nahe an DGX Spark (17.3), 2.0x schneller als der MacBook Pro (37.6) und 1.8x schneller als der Ryzen AI Halo (34.5). Der GeForce RTX 5090 Desktop ist mit 4.9 Minuten am schnellsten.
• Bei Qwen3.6 35B A3B, das pro Token 3B Parameter aktiviert, dauert es 7.6 Minuten, nahe an DGX Spark (7.3), 1.5x schneller als der Ryzen AI Halo (11.7) und 1.6x schneller als der MacBook Pro (11.9).
• Bei Ling 3.0 Flash, dem größten Modell auf unserem Leaderboard, dauert es 15.3 Minuten, nahe an DGX Spark (14.9) und 1.6x schneller als der Ryzen AI Halo (25.1). Seine 77 GB an Gewichtungen passen weder auf den MacBook Pro noch auf die RTX 5090.

Fertigstellungszeit nach Modell und System

Gesamtzeit, die das System benötigt, um jeden Turn der aufgezeichneten Agent-Aufgaben der Workload zu beantworten. Die Turns werden einzeln gesendet, jeweils mit dem bisherigen Gesprächsverlauf, und das Modell generiert die gleiche Anzahl an Tokens wie in der ursprünglichen Aufzeichnung, sodass jedes System die gleiche Arbeit leistet. Die Zeit für die Ausführung von Tools ist nicht enthalten.

Qwen3.6 35B A3B, das pro Token 3B Parameter aktiviert, ist auf jedem System das schnellste Modell, und der RTX Spark Laptop schließt es in 7.6 Minuten ab, gegenüber 15.3 für Ling 3.0 Flash und 18.7 für das dichte Qwen3.8 27B. Der GeForce RTX 5090 Desktop ist das schnellste System bei jedem Modell, das in seine 32 GB passt.

FertigstellungszeitQwen3.8 27B (Xhigh)

Gesamtzeit, die das System benötigt, um jeden Turn der aufgezeichneten Agent-Aufgaben der Workload zu beantworten. Die Turns werden einzeln gesendet, jeweils mit dem bisherigen Gesprächsverlauf, und das Modell generiert die gleiche Anzahl an Tokens wie in der ursprünglichen Aufzeichnung, sodass jedes System die gleiche Arbeit leistet. Die Zeit für die Ausführung von Tools ist nicht enthalten.

Die Preise für diese Systeme sind Näherungswerte und verschieben sich von Woche zu Woche. Zu aktuellen Preisen kostet der RTX Spark Laptop für $5,899.99 mehr als der MacBook Pro (~$3,700) und der Ryzen AI Halo ($4,000), aber etwas weniger als DGX Spark (~$6,000), und der RTX 5090 Desktop ist mit ~$9,500 (~$7,000 für die Karte plus konservative $2,500 für den Rest des PCs) das teuerste System. Das folgende Diagramm verwendet diese Preise, und unser Leaderboard erlaubt die Eingabe eigener Preise.

Fertigstellungszeit vs. PreisQwen3.8 27B (Xhigh)

Gesamtzeit, die das System benötigt, um jeden Turn der aufgezeichneten Agent-Aufgaben der Workload zu beantworten. Die Turns werden einzeln gesendet, jeweils mit dem bisherigen Gesprächsverlauf, und das Modell generiert die gleiche Anzahl an Tokens wie in der ursprünglichen Aufzeichnung, sodass jedes System die gleiche Arbeit leistet. Die Zeit für die Ausführung von Tools ist nicht enthalten.

Ungefährer aktueller Preis in US-Dollar, Stand Oktober 2026. Systeme, die weiterhin zum Launch-MSRP verkauft werden, werden zu diesem Preis angesetzt. Eine Grafikkarte wird mit dem Kartenpreis plus $2,500 (willkürliche Schätzung) für den Rest des Systems angesetzt. Geben Sie Ihre eigenen Preise ein, um die Ihnen verfügbaren Preise abzubilden.

Weiter erkunden

• Vergleichen Sie jedes System und Modell auf dem Laptops & Workstations Leaderboard
• Sehen Sie den vollständigen Launch-Befehl hinter jedem Ergebnis auf der Konfigurationen-Seite
• Führen Sie jedes Rezept auf Ihrem eigenen Rechner aus mit AA-AgentPerf-Local auf GitHub

Lesen Sie das Neueste

Reflection hat Beam veröffentlicht, ihren ersten Modell-Launch

Reflections erstes Modell, Beam, erreicht 30 auf dem Artificial Analysis Intelligence Index und belegt damit Platz #2 unter den US-Open-Weights-Modellen

16. Oktober 2026