NVIDIA hat gerade veröffentlicht Nemotron 3.5 Super VL, ein offenes Vision-Language-Modell, das für durchgehend aktive Enterprise-Agenten entwickelt wurde. Nemotron 3.5 Super VL ist ein Mixture-of-Experts-Modell mit 120B Parametern von NVIDIA, das pro Token 12B Parameter aktiviert. Es liest Text, Bilder, Dokumente und Video und schließt dann Schlussfolgerungen, ruft Werkzeuge auf und schreibt Code – alles in einem Modell. Für Entwickler ersetzt 1 offener Checkpoint ein separates Textmodell zusammen mit einem separaten Vision-Modell. NVIDIA hat auch 2 Edge-Modelle ausgeliefert, Nemotron 3.5 Bolt 74B-A9B und Bolt E4B.
TL;DR
- Größe: 120B Parameter insgesamt, 12B aktiv (MoE). Kontext bis zu 1M Token.
- Läuft auf: 1x DGX Spark, 1x H200, 2x H100 oder 1x GB200 mit dem NVFP4-Checkpoint. Ein BF16-Checkpoint ist ebenfalls veröffentlicht.
- Leistung: Starkes Reasoning, agentisches Coding und Dokumentenvision. NVIDIA gibt an, bis zu 5x höheren Single-GPU-Durchsatz als offene Konkurrenzmodelle zu erreichen.
- Bestes: 89.90 auf GPQA-Diamond (NVFP4).
- Schlechtestes: 17.78 auf tau3-bench banking (NVFP4).
Was ist Nemotron 3.5 Super VL?
Es ist ein offenes multimodales Agentenmodell. Die Gewichte werden unter der OpenMDW-1.1-Lizenzbereitgestellt. NVIDIA hat außerdem offene Datensätze, Trainingsrezepte und RL-Umgebungen in NeMo Gym veröffentlicht.
Die Modellkarte listet Text-, Bild- und Videoeingaben mit Textausgabe auf. Video ist auf MP4-Clips von bis zu 2 Minuten beschränkt. Reasoning kann über das Chat-Template ein- oder ausgeschaltet werden.
Wie funktioniert die Architektur?
Der Backbone kombiniert Mamba-2-, Mixture-of-Experts- und Attention-Schichten miteinander. Jede MoE-Schicht enthält 512 geroutete Experten. Ein C-RADIO-Vision-Encoder und ein Konnektor speisen Bilder, Dokumentseiten und Videoframes in den Sprach-Backbone ein.
Die Geschwindigkeit stammt aus vier Techniken:
- Multi-Token-Prediction: ein nativer Drafter schlägt mehrere Tokens vor, verifiziert in 1 Forward Pass.
- LiLiCorr: ein spekulativer Drafter für die DGX Spark, bis zu 2.3x schnellere Token-Generierung.
- NVFP4 mit quantisierungsbewusster Destillation: 4-Bit-Gewichte und -Aktivierungen auf Blackwell, 4-Bit-Gewichte mit 16-Bit-Aktivierungen elsewhere.
- Kontext-Wiederverwendung: Prefix-Caching bewahrt sowohl Attention-Caches als auch Mamba-States über Agenten-Züge hinweg.
Das Modell wurde aus Nemotron 3 Ultra destilliert. Das NVIDIA-Team gibt an, dass es mit etwa 26 Billionen Tokens trainiert wurde. Das Post-Training verwendete rund 3.8 Millionen Samples plus RL in Dutzenden von Umgebungen. Fortgesetztes Pretraining fügte 10B Indic-Tokens hinzu.
Wie schneidet es bei Benchmarks ab?
Alle folgenden Punkte sind von NVIDIA berichtete Werte, aus dem NVFP4-Checkpoint auf der Modellkarte.
| Bereich | Benchmark | Punktzahl |
|---|---|---|
| Reasoning | GPQA-Diamond | 89.90 |
| Coding | SWE-bench Verified | 71.07 |
| Coding | Terminal-Bench 2.1 | 60.80 |
| Web-Agent | BrowseComp | 77.5 |
| Befolgen von Anweisungen | IFBench | 71.50 |
| Diagramme | CharXiv-Reasoning | 79.88 |
| Dokumente | MMLongBench-Doc | 62.82 |
| Computernutzung | OSWorld-Verified | 52.3 |
| Long-Horizon-Agent | tau3-bench banking | 17.78 |
Bei Agent-Harness-Bewertungen schlägt Super VL Nemotron 3 Ultra. Es erreicht 63,44 % auf Hermes Bench gegenüber 56,33 %. Bei den LangChain-Evals erreicht es 87,05 % gegenüber 84,3 %. Ultra hat insgesamt etwa 4,6-mal mehr Parameter.
Das NVIDIA-Team meldet über 600 Ausgabe-Token pro Sekunde bei Artificial-Axis-agentic-Aufgaben über einen Baseten-Endpunkt. Die Grafik zeigt eine 5-fache Geschwindigkeitsdifferenz gegenüber Inkling Small.
</div> <div class="stage" data-i="1">C-RADIO<small>Vision-Encoder</small></div><div class="arr"></div> <div class="stage" data-i="2">Hybrid MoE<small>Mamba-2 + Attention</small></div><div class="arr"></div> <div class="stage" data-i="3">MTP-Decoding<small>+ LiLiCorr</small></div><div class="arr"></div> <div class="stage" data-i="4">Ausgabe<small>Text, Tool-Aufrufe</small></div> </div> <div class="detail" id="mtp-detail"></div> <div class="ctrl"> <button class="btn" id="mtp-prev"> Zurück</button> <button class="btn pri" id="mtp-next">Weiter </button> <button class="btn" id="mtp-play"> Automatische Wiedergabe</button> <span class="step" id="mtp-step">Schritt 1 von 5</span> </div> </div> <div class="panel" id="p-bm"> <div class="seg"><button class="on" data-c="nv">NVFP4</button><button data-c="bf">BF16</button></div> <div id="mtp-bars"></div> <p class="note">Von NVIDIA gemeldete Werte aus der Modellkarte. Der orange Balken markiert das schwächste Ergebnis.</p> </div> <div class="panel" id="p-cp"> <div class="cmp" id="mtp-cmp"></div> <p class="legend">Vom Hersteller selbst gemeldete Werte. Super VL verwendet NVFP4. Die Harnesses unterscheiden sich: Inkling-Small SWE-bench verwendet ein rein bash-basiertes Harness.</p> </div> <div class="panel" id="p-dp"> <div class="hw" id="mtp-hw"> <button class="chip on" data-h="0">1x DGX Spark<small>vLLM · LiLiCorr</small></button> <button class="chip" data-h="1">1x H200<small>vLLM · MTP 3</small></button> <button class="chip" data-h="2">2x H100<small>vLLM · MTP 3</small></button> <button class="chip" data-h="3">1x GB200<small>vLLM · MTP 5</small></button> </div> <div class="detail" id="mtp-hwd"></div> <pre id="mtp-code"></pre> <p class="note">Befehle gekürzt aus der Hugging-Face-Modellkarte. Verwenden Sie dort den vollständigen Flag-Satz für den Produktiveinsatz.</p> </div> <div class="ft"><span>Quellen: NVIDIA-Blog, NVIDIA-Technikblog, Hugging-Face-Modellkarten</span><span class="br">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-nsvl'); function $(s){return R.querySelector(s)} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} function resize(){try{parent.postMessage({mtpEmbed:'nsvl',h:R.offsetHeight+40},'*')}catch(e){}} /* tabs */ $$('.tab').forEach(function(t){t.addEventListener('click',function(){ $$('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); $$('.panel').forEach(function(p){p.classList.remove('on')}); var k=t.getAttribute('data-t');$('#p-'+k).classList.add('on'); if(k==='bm')drawBars(cur);if(k==='cp')drawCmp();if(k==='ov')count(); setTimeout(resize,60); })}); /* counters */ function count(){$$('.stat b').forEach(function(b){var n=+b.getAttribute('data-n'),s=b.getAttribute('data-s')||'',t0=null; function f(ts){if(!t0)t0=ts;var p=Math.min((ts-t0)/900,1),e=1-Math.pow(1-p,3);b.textContent=Math.round(n*e)+s;if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)})} count(); /* MoE cells */ var cells=$('#mtp-cells'),N=120;for(var i=0;i<N;i++){var c=document.createElement('div');c.className='cell';cells.appendChild(c)} var cs=$$('.cell'),tk=1; function route(){cs.forEach(function(c){c.classList.remove('act')});var used={};for(var k=0;k<12;k++){var j;do{j=Math.floor(Math.random()*N)}while(used[j]);used[j]=1;cs[j].classList.add('act')}$('#mtp-tok').textContent='token #'+(tk++)+' · 12 of 120 cells active'} route();setInterval(route,1100); /* pipeline */ var D=[ '<b>Eingaben.</b> Text, RGB-Bilder (jpeg, png) und MP4-Video bis zu 2 Minuten. Dokumente können als Seitenbilder mit Text übergeben werden. Alles teilt sich ein Kontextfenster von bis zu 1M Tokens.', '<b>C-RADIO-Visionencoder + Konnektor.</b> Wandelt Bilder, Dokumentseiten und Videoframes in Repräsentationen um, die das Sprach-Backbone verarbeiten kann. Diese Teile bleiben nach der Quantisierung in BF16.', '<b>Hybrides MoE-Backbone.</b> Alternierende Mamba-2-, MoE- und Attention-Schichten. 512 geroutete Experten pro MoE-Schicht, 12B von 120B Parametern pro Token aktiv. Destilliert aus Nemotron 3 Ultra.', '<b>Schnelles Dekodieren.</b> Native Multi-Token-Prediction entwirft mehrere Tokens zur 1-Pass-Verifikation. Auf DGX Spark ermöglicht der LiLiCorr-Drafter bis zu 2.3x schnellere Token-Generierung.', '<b>Ausgabe.</b> Textantworten, Reasoning (umschaltbar mit enable_thinking) und Tool-Aufrufe. NVIDIA meldet 600+ Ausgabe-Tokens pro Sekunde bei Artificial-Agentic-Aufgaben über Baseten.']; var si=0,timer=null,st=$$('.stage'); function show(i){si=(i+5)%5;st.forEach(function(s,k){s.classList.toggle('on',k===si)});$('#mtp-detail').innerHTML=D[si];$('#mtp-step').textContent='Schritt '+(si+1)+' von 5';setTimeout(resize,30)} st.forEach(function(s){s.addEventListener('click',function(){show(+s.getAttribute('data-i'))})}); $('#mtp-next').addEventListener('click',function(){show(si+1)}); $('#mtp-prev').addEventListener('click',function(){show(si-1)}); $('#mtp-play').addEventListener('click',function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent=' Auto-play'}else{timer=setInterval(function(){show(si+1)},2200);b.textContent='❚❚ Pause'}}); show(0); /* benchmarks */ var B=[['GPQA-Diamond',89.90,89.52],['CharXiv reasoning',79.88,80.82],['BrowseComp',77.5,78],['SWE-bench Verified',71.07,71.10],['IFBench',71.50,70.86],['MMLongBench-Doc',62.82,62.82],['Terminal-Bench 2.1',60.80,66.70],['OSWorld-Verified',52.3,51. 14],['tau3-bench banking',17.78,18.88]]; var cur='nv'; function drawBars(c){cur=c;var h='';B.forEach(function(r,i){var v=c==='nv'?r[1]:r[2];h+='<div class="bar"><span class="nm">'+r[0]+'</span><div class="track"><div class="fill'+(i===B.length-1?' low':'')+'" data-w="'+v+'"></div></div><span class="val">'+v.toFixed(2)+'</span></div>'}); $('#mtp-bars').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-bars .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} $$('.seg button').forEach(function(b){b.addEventListener('click',function(){$$('.seg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(b.getAttribute('data-c'))})}); /* compare */ var C=[['GPQA Diamond','89.90','86.6','89.5'],['SWE-bench Verified','71.07','72.0','80.2'],['IFBench','71.50','76.1','82.2'],['CharXiv reasoning','79.88','77.2','77.4'],['BrowseComp','77.5','63.8','77.4']]; function drawCmp(){var h='';C.forEach(function(r){h+='<div class="row"><div class="rt">'+r[0]+'</div>'+ '<div class="b me"><span class="nm">Super VL</span><div class="track"><div class="fill" data-w="'+r[1]+'"></div></div><span class="val">'+r[1]+'</span></div>'+ '<div class="b"><span class="nm">Qwen3.5-122B-A10B</span><div class="track"><div class="fill q" data-w="'+r[2]+'"></div></div><span class="val">'+r[2]+'</span></div>'+ '<div class="b"><span class="nm">Inkling-Small</span><div class="track"><div class="fill i" data-w="'+r[3]+'"></div></div><span class="val">'+r[3]+'</span></div></div>'}); $('#mtp-cmp').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-cmp .fill').forEach(function(f){f.style.width=f. getAttribute('data-w')+'%'})})});setTimeout(resize,60)} /* deploy */ var H=[ ['<b>1x DGX Spark (GB10).</b> Text und Bilder, 1M-Token-Kontext in vLLM. NVIDIA empfiehlt den LiLiCorr-Drafter für alle Spark-Deployments.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 1 --trust-remote-code \\\n --speculative_config.model nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr \\\n --speculative_config.num_speculative_tokens 7 \\\n --speculative_config.method dflash \\\n --reasoning-parser nemotron_v3'], ['<b>1x H200.</b> Text, Bilder und Video, 1M-Token-Kontext, MTP mit 3 Draft-Tokens. Gleicher Befehl wie 2x H100 mit tensor parallel 1.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 1 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>2x H100.</b> Text, Bilder und Video, 1M-Token-Kontext, MTP mit 3 Draft-Tokens. Läuft W4A16 auf Nicht-Blackwell-GPUs.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 2 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>1x GB200.</b> Text, Bilder und Video, 1M-Token-Kontext, MTP mit 5 Draft-Tokens. Voller W4A4-NVFP4 auf Blackwell. SGLang- und TensorRT-LLM-Rezepte sind ebenfalls vorhanden.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 512 --trust-remote-code \\\n --speculative_config.method mtp \\\n --speculative_config.num_speculative_tokens 5 \\\n --reasoning-parser nemotron_v3']]; function hw(i){$$('.chip').forEach(function(c,k){c.classList.toggle('on',k===i)});$('#mtp-hwd').innerHTML=H[i][0];$('#mtp-code').textContent=H[i][1];setTimeout(resize,30)} $$('.chip').forEach(function(c){c.addEventListener('click',function(){hw(+c. getAttribute('data-h'))})});hw(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body> </html> ">Wie schneidet es im Vergleich mit ähnlichen offenen Modellen ab?
| Merkmal | Nemotron 3.5 Super VL | Qwen3.5-122B-A10B | Inkling-Small | Nemotron 3 Ultra |
|---|---|---|---|---|
| Entwickler | NVIDIA | Alibaba Qwen | Thinking Machines Lab | NVIDIA |
| Parameter gesamt / aktiv | 120B / 12B | 122B / 10B | 276B / 12B | 550B / 55B |
| Kontext | Bis zu 1M | 262,144 nativ, erweiterbar auf 1,010,000 | Auf der Modellkarte nicht angegeben | Evaluiert bei 1M (Ruler @1M) |
| Eingaben | Text, Bild, Video | Text, Bild, Video | Text, Bild, Audio | Nicht angegeben |
| Lizenz | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | OpenMDW-1.1 |
| Referenz-Hardware | 1x DGX Spark, 1x H200, 2x H100 oder 1x GB200 | 8-GPU-Tensor-Parallel-Serving-Beispiel | Nicht offengelegt | Nicht offengelegt |
| GPQA Diamond | 89.90 | 86.6 | 89.5 | Nicht offengelegt |
| SWE-bench Verified | 71.07 | 72.0 | 80.2 (nur-Bash-Harness) | 65 auf 70.4 (über 5 Harnesses) |
| IFBench | 71.50 | 76.1 | 82.2 | 82 |
| CharXiv Reasoning | 79.88 | 77.2 | 77.4 | Nicht offengelegt |
| BrowseComp | 77.5 | 63.8 | 77.4 (mit Kontextmanagement) | Nicht offengelegt |
| Terminal-Bench | 60.80 (v2.1) | 49.4 (v2) | 64.7 (v2.1, bestes Harness) | 54 (v2.0) |
Die Werte werden von jedem Anbieter selbst berichtet. Harnesses und Benchmark-Versionen unterscheiden sich, daher sollten Abstände von wenigen Punkten mit Vorsicht betrachtet werden.
Wie können Entwickler es einsetzen?
Super VL ist verfügbar auf Hugging Face, OpenRouter, ModelScope und als NVIDIA NIM. Unterstützte Runtimes sind vLLM, SGLang und TensorRT-LLM auf Blackwell und Hopper. Lokale Wege umfassen llama.cpp und Unsloth.
Für die Produktion, Dynamo-Rezepte KV-bewusstes Routing hinzufügen. Auf 16 B200 GPUs bei 50 Tokens pro Sekunde pro Nutzer berichtet NVIDIA von 8x mehr bedienten Nutzern. Die Latenz bis zum ersten Token sinkt um 85 %.
Die Anpassung läuft über NeMo AutoModel für SFT und LoRA sowie über NeMo RL für bestärkendes Lernen. NVIDIA nennt frühe Ergebnisse:
- Scale AI für die Skydance-Lieferantenkreditverarbeitung: 40x niedrigere Inferenzkosten und 5x niedrigere Latenz.
- Ramp Extraktion von Belegen zu JSON: Bis zu 50 % höherer Durchsatz und 10x niedrigere Latenz erwartet.
- AI21 für Alice Threat Intelligence: 40 % höhere Genauigkeit.
Was sind die Nemotron 3.5 Bolt-Modelle?
Nemotron 3.5 Bolt 74B-A9B richtet sich an lokale Agenten. NVIDIAS Launch-Hinweise beschreiben es als aus Super VL destilliert. Native 2-Bit-Quantisierung passt es in 24 GB Speicher auf RTX- und DGX Spark-Systemen. NVIDIA sagt, es belegt Platz #1 unter offenen Modellen seiner Klasse bei PinchBench. Es belegt Platz #2 bei BrowseComp unter offenen Modellen. Es ist jetzt auf Hugging Face mit Unterstützung für llama.cpp, Ollama, LM Studio, Unsloth und vLLM verfügbar.
Bolt E4B 4GB kommt am 23. Oktober. Es zielt auf Sprachassistenten und eingebettete Agenten auf GeForce RTX, Jetson sowie RTX oder DGX Spark.
Die wichtigsten Erkenntnisse
- 120B MoE, 12B aktiv, 1M Kontext, offene Gewichte unter OpenMDW-1.1.
- 1 Modell verarbeitet Text, Bilder, Dokumente, Video, Tools und Code.
- NVFP4-Checkpoint läuft auf einem einzelnen DGX Spark, H200 oder GB200.
- 89.90 GPQA-Diamond, aber nur 17.78 bei tau3-bench banking.
- Bolt 74B-A9B bringt ein 24GB lokales Agentenmodell auf RTX-PCs.
Schauen Sie sich den technischen Bericht, Modellkarte und das Verwendungs-Kochbuchan. Alles Lob gebührt dem Forscher dieses Projekts. Folgen Sie uns gerne auch auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Der Beitrag NVIDIA Releases Nemotron 3.5 Super VL, a 120B Open Multimodal Agent Model erschien zuerst auf MarkTechPost.