NVIDIA vient de publier Nemotron 3.5 Super VL, un modèle vision-langage ouvert conçu pour des agents d'entreprise toujours actifs. Nemotron 3.5 Super VL est un modèle mixture-of-experts de 120B paramètres de NVIDIA qui active 12B paramètres par token. Il lit le texte, les images, les documents et la vidéo, puis raisonne, appelle des outils et écrit du code dans un seul modèle. Pour les développeurs, 1 checkpoint ouvert remplace un modèle de texte séparé ainsi qu'un modèle de vision séparé. NVIDIA a également livré 2 modèles edge, Nemotron 3.5 Bolt 74B-A9B et Bolt E4B.
TL;DR
- Taille : 120B paramètres au total, 12B actifs (MoE). Contexte jusqu'à 1M tokens.
- Fonctionne sur : 1x DGX Spark, 1x H200, 2x H100 ou 1x GB200 avec le checkpoint NVFP4. Un checkpoint BF16 est également publié.
- Performance : Forte capacité de raisonnement, de codage agentique et de vision documentaire. NVIDIA revendique jusqu'à 5x de débit supérieur sur un seul GPU par rapport aux modèles ouverts concurrents.
- Meilleur : 89.90 sur GPQA-Diamond (NVFP4).
- Pire : 17.78 sur tau3-bench banking (NVFP4).
Qu'est-ce que Nemotron 3.5 Super VL ?
C'est un modèle agent multimodal ouvert. Les poids sont publiés sous la licence OpenMDW-1.1. NVIDIA a également publié des jeux de données ouverts, des recettes d'entraînement et des environnements RL dans NeMo Gym.
La fiche du modèle liste les entrées texte, image et vidéo avec une sortie texte. La vidéo est limitée à des clips MP4 de 2 minutes maximum. Le raisonnement peut être activé ou désactivé via le modèle de chat.
Comment fonctionne l'architecture ?
Le backbone alterne des couches Mamba-2, mixture-of-experts et attention. Chaque couche MoE contient 512 experts routés. Un encodeur de vision C-RADIO et un connecteur alimentent le backbone de langage en images, pages de documents et trames vidéo.
La vitesse provient de quatre techniques :
- Prédiction multi-tokens : un rédacteur natif propose plusieurs tokens, vérifiés en 1 passe forward.
- LiLiCorr : un rédacteur spéculatif pour DGX Spark, jusqu'à 2.3x plus rapide pour la génération de tokens.
- NVFP4 avec distillation sensible à la quantization : poids et activations en 4 bits sur Blackwell, poids en 4 bits avec activations en 16 bits ailleurs.
- Réutilisation du contexte : le prefix caching conserve à la fois les caches d'attention et les états Mamba entre les tours d'agent.
Le modèle a été distillé depuis Nemotron 3 Ultra. L'équipe NVIDIA indique qu'il a été entraîné sur environ 26 trillions de tokens. Le post-training a utilisé environ 3.8 millions d'échantillons plus du RL dans des dizaines d'environnements. La poursuite du pré-entraînement a ajouté 10B de tokens indiques.
Comment se comporte-t-il sur les benchmarks ?
Tous les scores ci-dessous sont ceux rapportés par NVIDIA, issus du checkpoint NVFP4 sur la fiche du modèle.
| Domaine | Benchmark | Score |
|---|---|---|
| Raisonnement | GPQA-Diamond | 89.90 |
| Codage | SWE-bench Verified | 71.07 |
| Codage | Terminal-Bench 2.1 | 60.80 |
| Agent web | BrowseComp | 77.5 |
| Suivi des instructions | IFBench | 71.50 |
| Graphiques | Raisonnement CharXiv | 79.88 |
| Documents | MMLongBench-Doc | 62.82 |
| Utilisation de l'ordinateur | OSWorld-Verified | 52.3 |
| Agent à long horizon | tau3-bench banking | 17.78 |
Sur les évaluations d'agent harness, Super VL bat Nemotron 3 Ultra. Il obtient 63.44% sur Hermes Bench contre 56.33%. Sur les évaluations LangChain, il obtient 87.05% contre 84.3%. Ultra embarque environ 4.6x plus de paramètres au total.
L'équipe NVIDIA rapporte plus de 600 jetons de sortie par seconde sur les tâches agentiques d'Artificial Analysis via un point de terminaison Baseten. Son graphique marque un écart de vitesse de 5x par rapport à Inkling Small.
</div> <div class="stage" data-i="1">C-RADIO<small>encodeur de vision</small></div><div class="arr"></div> <div class="stage" data-i="2">Hybride MoE<small>Mamba-2 + attention</small></div><div class="arr"></div> <div class="stage" data-i="3">décodage MTP<small>+ LiLiCorr</small></div><div class="arr"></div> <div class="stage" data-i="4">Sortie<small>texte, appels d'outils</small></div> </div> <div class="detail" id="mtp-detail"></div> <div class="ctrl"> <button class="btn" id="mtp-prev"> Précédent</button> <button class="btn pri" id="mtp-next">Suivant </button> <button class="btn" id="mtp-play"> Lecture automatique</button> <span class="step" id="mtp-step">Étape 1 sur 5</span> </div> </div> <div class="panel" id="p-bm"> <div class="seg"><button class="on" data-c="nv">NVFP4</button><button data-c="bf">BF16</button></div> <div id="mtp-bars"></div> <p class="note">Scores rapportés par NVIDIA issus de la fiche du modèle. La barre orange marque le résultat le plus faible.</p> </div> <div class="panel" id="p-cp"> <div class="cmp" id="mtp-cmp"></div> <p class="legend">Scores auto-rapportés par le fournisseur. Super VL utilise NVFP4. Les harness diffèrent : le SWE-bench d'Inkling-Small utilise un harness bash uniquement.</p> </div> <div class="panel" id="p-dp"> <div class="hw" id="mtp-hw"> <button class="chip on" data-h="0">1x DGX Spark<small>vLLM · LiLiCorr</small></button> <button class="chip" data-h="1">1x H200<small>vLLM · MTP 3</small></button> <button class="chip" data-h="2">2x H100<small>vLLM · MTP 3</small></button> <button class="chip" data-h="3">1x GB200<small>vLLM · MTP 5</small></button> </div> <div class="detail" id="mtp-hwd"></div> <pre id="mtp-code"></pre> <p class="note">Commandes abrégées à partir de la fiche du modèle sur Hugging Face. Utilisez l'ensemble complet d'indicateurs qui s'y trouve pour la production.</p> </div> <div class="ft"><span>Sources : blog NVIDIA, blog technique NVIDIA, fiches de modèles Hugging Face</span><span class="br">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-nsvl'); function $(s){return R.querySelector(s)} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} function resize(){try{parent.postMessage({mtpEmbed:'nsvl',h:R.offsetHeight+40},'*')}catch(e){}} /* tabs */ $$('.tab').forEach(function(t){t.addEventListener('click',function(){ $$('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); $$('.panel').forEach(function(p){p.classList.remove('on')}); var k=t.getAttribute('data-t');$('#p-'+k).classList.add('on'); if(k==='bm')drawBars(cur);if(k==='cp')drawCmp();if(k==='ov')count(); setTimeout(resize,60); })}); /* counters */ function count(){$$('.stat b').forEach(function(b){var n=+b.getAttribute('data-n'),s=b.getAttribute('data-s')||'',t0=null; function f(ts){if(!t0)t0=ts;var p=Math.min((ts-t0)/900,1),e=1-Math.pow(1-p,3);b.textContent=Math.round(n*e)+s;if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)})} count(); /* MoE cells */ var cells=$('#mtp-cells'),N=120;for(var i=0;i<N;i++){var c=document.createElement('div');c.className='cell';cells.appendChild(c)} var cs=$$('.cell'),tk=1; function route(){cs.forEach(function(c){c.classList.remove('act')});var used={};for(var k=0;k<12;k++){var j;do{j=Math.floor(Math.random()*N)}while(used[j]);used[j]=1;cs[j].classList.add('act')}$('#mtp-tok').textContent='token #'+(tk++)+' · 12 of 120 cells active'} route();setInterval(route,1100); /* pipeline */ var D=[ '<b>Entrées.</b> Texte, images RGB (jpeg, png) et vidéo MP4 jusqu'à 2 minutes. Les documents peuvent être fournis sous forme d'images de pages avec du texte. Tout partage une fenêtre de contexte allant jusqu'à 1M tokens.', '<b>Encodeur visuel C-RADIO + connecteur.</b> Transforme les images, les pages de documents et les images vidéo en représentations que le backbone de langage peut traiter. Ces parties restent en BF16 après quantization.', '<b>Backbone MoE hybride.</b> Couches Mamba-2, MoE et attention entrelacées. 512 experts routés par couche MoE, 12B de 120B paramètres actifs par token. Distillé depuis Nemotron 3 Ultra.', '<b>Décodage rapide.</b> La prédiction multi-token native propose plusieurs tokens pour une vérification en 1 passe. Sur DGX Spark, le drafter LiLiCorr offre une génération de tokens jusqu'à 2.3x plus rapide.', '<b>Sortie.</b> Réponses textuelles, raisonnement (activable avec enable_thinking) et appels d'outils. NVIDIA rapporte plus de 600 tokens de sortie par seconde sur les tâches agentiques d'Artificial Analysis via Baseten.']; var si=0,timer=null,st=$$('.stage'); function show(i){si=(i+5)%5;st.forEach(function(s,k){s.classList.toggle('on',k===si)});$('#mtp-detail').innerHTML=D[si];$('#mtp-step').textContent='Étape '+(si+1)+' sur 5';setTimeout(resize,30)} st.forEach(function(s){s.addEventListener('click',function(){show(+s.getAttribute('data-i'))})}); $('#mtp-next').addEventListener('click',function(){show(si+1)}); $('#mtp-prev').addEventListener('click',function(){show(si-1)}); $('#mtp-play').addEventListener('click',function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent=' Lecture automatique'}else{timer=setInterval(function(){show(si+1)},2200);b.textContent='❚❚ Pause'}}); show(0); /* benchmarks */ var B=[['GPQA-Diamond',89.90,89.52],['CharXiv raisonnement',79.88,80.82],['BrowseComp',77.5,78],['SWE-bench Verified',71.07,71.10],['IFBench',71.50,70.86],['MMLongBench-Doc',62.82,62.82],['Terminal-Bench 2.1',60.80,66.70],['OSWorld-Verified',52.3,51. 14],['tau3-bench banking',17.78,18.88]]; var cur='nv'; function drawBars(c){cur=c;var h='';B.forEach(function(r,i){var v=c==='nv'?r[1]:r[2];h+='<div class="bar"><span class="nm">'+r[0]+'</span><div class="track"><div class="fill'+(i===B.length-1?' low':'')+'" data-w="'+v+'"></div></div><span class="val">'+v.toFixed(2)+'</span></div>'}); $('#mtp-bars').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-bars .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} $$('.seg button').forEach(function(b){b.addEventListener('click',function(){$$('.seg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(b.getAttribute('data-c'))})}); /* comparer */ var C=[['GPQA Diamond','89.90','86.6','89.5'],['SWE-bench Verified','71.07','72.0','80.2'],['IFBench','71.50','76.1','82.2'],['CharXiv raisonnement','79.88','77.2','77.4'],['BrowseComp','77.5','63.8','77.4']]; function drawCmp(){var h='';C.forEach(function(r){h+='<div class="row"><div class="rt">'+r[0]+'</div>'+ '<div class="b me"><span class="nm">Super VL</span><div class="track"><div class="fill" data-w="'+r[1]+'"></div></div><span class="val">'+r[1]+'</span></div>'+ '<div class="b"><span class="nm">Qwen3.5-122B-A10B</span><div class="track"><div class="fill q" data-w="'+r[2]+'"></div></div><span class="val">'+r[2]+'</span></div>'+ '<div class="b"><span class="nm">Inkling-Small</span><div class="track"><div class="fill i" data-w="'+r[3]+'"></div></div><span class="val">'+r[3]+'</span></div></div>'}); $('#mtp-cmp').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-cmp .fill').forEach(function(f){f.style.width=f. getAttribute('data-w')+'%'})})});setTimeout(resize,60)} /* déploiement */ var H=[ ['<b>1x DGX Spark (GB10).</b> Texte et image, contexte de 1M tokens dans vLLM. NVIDIA recommande le drafter LiLiCorr pour tous les déploiements sur Spark.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 1 --trust-remote-code \\\n --speculative_config.model nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr \\\n --speculative_config.num_speculative_tokens 7 \\\n --speculative_config.method dflash \\\n --reasoning-parser nemotron_v3'], ['<b>1x H200.</b> Texte, image et vidéo, contexte de 1M tokens, MTP avec 3 tokens draftés. Même commande que 2x H100 avec tensor parallel 1.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 1 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>2x H100.</b> Texte, image et vidéo, contexte de 1M tokens, MTP avec 3 tokens draftés. Fonctionne en W4A16 sur les GPU non-Blackwell.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 2 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>1x GB200.</b> Texte, image et vidéo, contexte de 1M tokens, MTP avec 5 tokens draftés. W4A4 NVFP4 complet sur Blackwell. Des recettes SGLang et TensorRT-LLM existent également.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 512 --trust-remote-code \\\n --speculative_config.method mtp \\\n --speculative_config.num_speculative_tokens 5 \\\n --reasoning-parser nemotron_v3']]; function hw(i){$$('.chip').forEach(function(c,k){c.classList.toggle('on',k===i)});$('#mtp-hwd').innerHTML=H[i][0];$('#mtp-code').textContent=H[i][1];setTimeout(resize,30)} $$('.chip').forEach(function(c){c.addEventListener('click',function(){hw(+c. getAttribute('data-h'))})});hw(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body> </html> ">Comment se compare-t-il avec des modèles ouverts similaires ?
| Caractéristique | Nemotron 3.5 Super VL | Qwen3.5-122B-A10B | Inkling-Small | Nemotron 3 Ultra |
|---|---|---|---|---|
| Développeur | NVIDIA | Alibaba Qwen | Thinking Machines Lab | NVIDIA |
| Paramètres totaux / actifs | 120B / 12B | 122B / 10B | 276B / 12B | 550B / 55B |
| Contexte | Jusqu'à 1M | 262,144 natif, extensible à 1,010,000 | Non divulgué sur la fiche du modèle | Évalué à 1M (Ruler @1M) |
| Entrées | Texte, image, vidéo | Texte, image, vidéo | Texte, image, audio | Non divulgué |
| Licence | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | OpenMDW-1.1 |
| Matériel de référence | 1x DGX Spark, 1x H200, 2x H100 ou 1x GB200 | Exemple de service en parallélisme de tenseurs sur 8 GPU | Non divulgué | Non divulgué |
| GPQA Diamond | 89.90 | 86.6 | 89.5 | Non divulgué |
| SWE-bench Verified | 71.07 | 72.0 | 80.2 (harnais bash uniquement) | 65 à 70.4 (sur 5 harnais) |
| IFBench | 71.50 | 76.1 | 82.2 | 82 |
| Raisonnement CharXiv | 79.88 | 77.2 | 77.4 | Non divulgué |
| BrowseComp | 77.5 | 63.8 | 77.4 (avec gestion du contexte) | Non divulgué |
| Terminal-Bench | 60.80 (v2.1) | 49.4 (v2) | 64.7 (v2.1, meilleur harnais) | 54 (v2.0) |
Les scores sont auto-déclarés par chaque fournisseur. Les harnais et les versions des benchmarks diffèrent, il faut donc considérer les écarts de quelques points avec prudence.
Comment les développeurs peuvent-ils le déployer ?
Super VL est disponible sur Hugging Face, OpenRouter, ModelScope et en tant que NVIDIA NIM. Les runtimes pris en charge sont vLLM, SGLang et TensorRT-LLM sur Blackwell et Hopper. Les solutions locales incluent llama.cpp et Unsloth.
Pour la production, les recettes Dynamo ajoutent un routage tenant compte du KV. Sur 16 GPU B200 à 50 tokens par seconde par utilisateur, NVIDIA rapporte 8x plus d'utilisateurs servis. La latence du premier token baisse de 85%.
La personnalisation passe par NeMo AutoModel pour le SFT et le LoRA, et par NeMo RL pour l'apprentissage par renforcement. NVIDIA cite des résultats préliminaires :
- Scale AI pour le traitement des crédits fournisseurs de Skydance : coût d'inférence 40x plus faible et latence 5x plus basse.
- Ramp extraction de reçus vers JSON : un débit jusqu'à 50% plus élevé et une latence attendue 10x plus basse.
- AI21 pour le renseignement sur les menaces avec Alice : précision 40% plus élevée.
Que sont les modèles Nemotron 3.5 Bolt ?
Nemotron 3.5 Bolt 74B-A9B cible les agents locaux. Les notes de lancement de NVIDIA le décrivent comme distillé depuis Super VL. Une quantification native en 2 bits lui tient dans 24GB de mémoire sur les systèmes RTX et DGX Spark. NVIDIA indique qu'il se classe #1 parmi les modèles ouverts de sa catégorie sur PinchBench. Il se classe #2 sur BrowseComp parmi les modèles ouverts. Il est disponible dès maintenant sur Hugging Face avec le support de llama.cpp, Ollama, LM Studio, Unsloth et vLLM.
Bolt E4B 4GB arrive le 23 octobre. Il cible les assistants vocaux et les agents embarqués sur GeForce RTX, Jetson et RTX ou DGX Spark.
Points clés
- MoE 120B, 12B actifs, contexte 1M, poids ouverts sous OpenMDW-1.1.
- 1 seul modèle gère texte, images, documents, vidéo, outils et code.
- Le checkpoint NVFP4 fonctionne sur un seul DGX Spark, H200 ou GB200.
- 89.90 sur GPQA-Diamond, mais seulement 17.78 sur tau3-bench banking.
- Bolt 74B-A9B apporte un modèle d'agent local de 24GB aux PC RTX.
Consultez le rapport technique, la fiche du modèle et le guide d'utilisation. Tout le mérite revient au chercheur de ce projet. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre SubReddit ML de plus de 150k membres et de vous abonner à notre newsletter. Attendez ! Vous êtes sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
L'article NVIDIA Releases Nemotron 3.5 Super VL, a 120B Open Multimodal Agent Model est apparu en premier sur MarkTechPost.