NVIDIA vient de publier Nemotron 3.5 Bolt E4B 4GB, un petit modèle de langage ouvert pour des agents conversationnels rapides. Il cible les assistants vocaux, les PNJ de jeux vidéo et les interfaces robotiques fonctionnant localement sur du matériel RTX, Jetson et Spark. Le modèle est post-entraîné à partir de Gemma 4 E4B de Google en utilisant uniquement l'apprentissage par renforcement. Pour les développeurs, il s'agit d'un comportement d'agent dans environ 4GB de VRAM. Cela laisse de la place pour les modèles de parole et de vision.
TL;DR
- Taille : 8B de paramètres au total, 4B effectifs, contexte de 64K.
- Fonctionne sur : GeForce RTX, Jetson, RTX Spark et DGX Spark. La version Q4_K_M a utilisé 3.1 à 4.3 GB de VRAM sur RTX lors des tests de NVIDIA.
- Performances : Meilleur score sur 15 des 21 benchmarks contre Gemma 4 E4B, Qwen3.5-4B et Nemotron 3 Nano 4B (mesuré par NVIDIA).
- Meilleur : IHEval 84.8, contre 67.0 pour Gemma 4 E4B et 60.6 pour Qwen3.5-4B.
- Pire : Tau2-Bench 55.1, soit environ 20 points de retard sur Qwen3.5-4B à 75.1.
Qu'est-ce que Nemotron 3.5 Bolt E4B ?
Nemotron 3.5 Bolt E4B est un petit modèle de langage de NVIDIA qui alimente des agents conversationnels locaux. Il combine dialogue naturel et appel d'outils multi-tours. NVIDIA liste 3 charges de travail cibles : assistants vocaux et d'appareils, personnages interactifs, et agents embarqués ou industriels.
Le rapport de recherche montre un robot Reachy Mini fonctionnant sur un Jetson Orin Nano 8GB. Dans cette démonstration, Cosmos 3 Edge gère la vision tandis que Bolt gère les réponses vocales et les appels d'outils. L'équipe NVIDIA qualifie également Bolt de petit modèle de troisième génération pour les personnages de jeux NVIDIA ACE.
Caractéristiques principales du billet de lancement:
- Utilisation d'outils multi-tours, avec prise en charge des appels d'outils asynchrones.
- Un
conversational_modedrapeau pour des réponses courtes, prêtes pour la synthèse vocale. - Raisonnement configurable, plus un budget de réflexion à l'exécution pour plafonner la latence.
- 64K de contexte pour l'historique, les définitions d'outils et l'état de l'application.
Comment Bolt E4B a-t-il été entraîné ?
NVIDIA a complètement sauté le fine-tuning supervisé. Selon le rapport de recherche, le SFT améliorait l'appel d'outils mais nuisait à la qualité conversationnelle et à la verbosité de Gemma. À la place, l'équipe de recherche a utilisé RLVR et RLHF via NeMo-RL et NeMo-Gym.
Chaque échantillon d'entraînement était exécuté en mode raisonnement et en mode non-raisonnement. Chaque lot conservait un ratio de 2:1 entre les échantillons sans raisonnement et avec raisonnement. Les pénalités de longueur dans l'environnement GenRM ont empêché les réponses de s'allonger pendant l'entraînement. Les jeux de données et la recette complète sont publics.
Pour le déploiement, NVIDIA a quantisé le checkpoint BF16 en Q4_K_M avec une calibration par matrice d'importance. La calibration a utilisé environ 1M de tokens de rollouts RL. La version inclut également un DFlash drafter pour le décodage spéculatif. Sur une RTX 5070, Bolt avec DFlash a atteint 272.6 tokens/s. Gemma 4 E4B avec son MTP drafter a atteint 225.9 tokens/s, donc Bolt est 1.21x plus rapide.
Comment Nemotron 3.5 Bolt E4B se comporte-t-il sur les benchmarks ?
NVIDIA a regroupé 21 benchmarks en 5 domaines de capacités. Tous les scores ici sont en BF16, mesurés par NVIDIA dans son propre harnais NeMo-Gym. Bolt a mené 15 des 21 lignes en mode raisonnement.
NVIDIA rapporte également environ 40% de scores moyens supérieurs à ceux de Nemotron 3 Nano 4B. Elle affirme jusqu'à 80% de tokens de sortie en moins dans les comparaisons avec raisonnement activé. Par ailleurs, Scale Labs a classé Bolt premier parmi les petits modèles sur MultiChallenge à 56.03%, selon un post X.
</div> <div class="node">RLVR + RLHF</div><div class="arr"></div> <div class="node">Contrôle de la verbosité</div><div class="arr"></div> <div class="node">Q4_K_M imatrix</div><div class="arr"></div> <div class="node">DFlash drafter</div> </div> <div class="stepbox"> <div class="stepn" id="mtp-sn">Étape 1 sur 5</div> <div class="stept" id="mtp-st"></div> <p class="stepd" id="mtp-sd"></p> </div> <div class="ctl"> <button class="btn ghost" id="mtp-prev">Retour</button> <div class="dots"><span class="dot on"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span></div> <button class="btn" id="mtp-next">Suivant</button> </div> </div> <div class="pane" data-p="2"> <div class="chips" id="mtp-chips"></div> <div id="mtp-bars"></div> <div class="note">Scores BF16 mesurés par NVIDIA dans son harnais NeMo-Gym. Les scores rapportés par le fabricant peuvent différer. La valeur verte indique la meilleure de chaque ligne.</div> </div> <div class="pane" data-p="3"> <div class="devs" id="mtp-devs"></div> <div class="meters"> <div class="meter"><div class="mv" id="mtp-vram">0</div><div class="mu">VRAM (Go)</div><div class="mbar"><div class="mfill" id="mtp-vb"></div></div></div> <div class="meter"><div class="mv" id="mtp-ttft">0</div><div class="mu">Temps jusqu'au premier token (ms)</div><div class="mbar"><div class="mfill" id="mtp-tb"></div></div></div> <div class="meter"><div class="mv" id="mtp-tps">0</div><div class="mu">Génération (tokens/s)</div><div class="mbar"><div class="mfill" id="mtp-pb"></div></div></div> </div> <div class="verdict" id="mtp-verdict"></div> <div class="note">Q4_K_M, llama.cpp (CUDA), taille de lot 1, entrée 3K / 50 tokens de sortie, sans contexte en cache. Source : NVIDIA.</div> </div> <div class="pane" data-p="4"> <div class="two"> <div class="col w"><h4>Là où il gagne</h4><ul> <li>IHEval 84.8 contre 67.0 (Gemma 4 E4B) et 60.6 (Qwen3.5-4B)</li> <li>MultiChallenge 53.1, en tête des 4 modèles</li> <li>RelyToolBench 63.2 contre 43.3 pour Qwen3.5-4B</li> <li>1.21x le débit MTP de Gemma avec DFlash sur RTX 5070</li> </ul></div> <div class="col l"><h4>Là où il est à la traîne</h4><ul> <li>Tau2-Bench 55.1 contre 75.1 pour Qwen3.5-4B</li> <li>RULER 64K 87.0 contre 95.1 pour Qwen3.5-4B</li> <li>MMMU-Pro Vision 42.0 contre 47.6 pour Gemma 4 E4B</li> <li>5,785 ms pour le premier token sur Jetson Orin Nano avec une entrée de 3K</li> </ul></div> </div> </div> <div class="ft"><span>Sources : <a href="https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/" target="_blank" rel="noopener">blog NVIDIA</a> · <a href="https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf" target="_blank" rel="noopener">Rapport technique</a> · <a href="https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16" target="_blank" rel="noopener">Fiche du modèle</a></span><span class="brand">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-bolt-e4b'); function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbed:'bolt-e4b',height:h},'*');}catch(e){}} var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane'); tabs.forEach(function(t){t.addEventListener('click',function(){var i=+t.dataset.t;tabs.forEach(function(x){x.classList.toggle('on',x===t)});panes.forEach(function(p){p.classList.toggle('on',+p.dataset.p===i)});if(i===2)drawBars();if(i===3)showDev(curDev);setTimeout(post,60);});}); R.querySelectorAll('.rv').forEach(function(b){b.addEventListener('click',function(){b.classList.toggle('open');setTimeout(post,380);});}); var steps=[ ['Partir de Gemma 4 E4B','Bolt commence comme le Gemma-4-E4B-it de Google : 8B de paramètres au total, 4B effectifs. NVIDIA conserve l'ossature et modifie le comportement.'], ['Post-entraînement en RL uniquement','RLVR et RLHF sont exécutés dans NeMo-RL et NeMo-Gym. Les environnements couvrent l'appel d'outils, le suivi d'instructions, la hiérarchie des instructions et les sorties structurées. Le SFT a été abandonné car il nuisait à la qualité conversationnelle.'], ['Entraîner les deux modes, contrôler la longueur','Chaque échantillon est exécuté avec le raisonnement activé et désactivé, selon un ratio de 2:1 entre non-raisonnement et raisonnement. Des pénalités de longueur relatives au groupe permettent de garder des réponses courtes. NVIDIA rapporte jusqu'à 80 % de tokens de sortie en moins que ses pairs.'], ['Quantifier en Q4_K_M','Le point de contrôle BF16 est quantifié avec llama.cpp en utilisant un calibrage par matrice d'importance sur environ 1M de tokens de déploiements RL. Cette version vise une enveloppe d'environ 4GB de VRAM.'], ['Accélérer avec DFlash','Un drafter parallèle propose 7 tokens en un seul passage ; Bolt les vérifie. Sur RTX 5070, il atteint 272.6 tokens/s contre 225.9 pour Gemma avec MTP, soit un gain de 1.21x.']]; var si=0,nodes=R.querySelectorAll('.node'),arrs=R.querySelectorAll('.arr'),dots=R.querySelectorAll('.dot'); function step(){document.getElementById('mtp-sn').textContent='Étape '+(si+1)+' sur 5';document.getElementById('mtp-st').textContent=steps[si][0];document.getElementById('mtp-sd').textContent=steps[si][1]; nodes.forEach(function(n,i){n.classList.toggle('on',i<=si)});arrs. forEach(function(a,i){a.classList.toggle('on',i<si)});dots.forEach(function(d,i){d.classList.toggle('on',i===si)}); document.getElementById('mtp-prev').disabled=si===0;document.getElementById('mtp-next').textContent=si===4?'Recommencer':'Suivant';setTimeout(post,60);} document.getElementById('mtp-prev').addEventListener('click',function(){if(si>0){si--;step();}}); document.getElementById('mtp-next').addEventListener('click',function(){si=si===4?0:si+1;step();}); step(); var M=['Bolt E4B','Nemotron 3 Nano 4B','Qwen3.5-4B','Gemma 4 E4B']; var B={'Conversation':[['MultiChallenge','cohérence à travers les tours',[53.1,35.3,51.8,42.1]],['RoleMRC','respect de l'identité du rôle',[80.6,47.0,65.8,74.6]],['EQ-Bench v3','intelligence émotionnelle',[39.4,19.3,32.9,41.1]]], 'Utilisation des outils':[['BFCL-v3','outils et arguments corrects',[68.5,61.1,70.9,66.4]],['Tau2-Bench','tâches client sur plusieurs tours',[55.1,29.2,75.1,38.5]],['When2Call-MT','appeler, clarifier ou s'abstenir',[63.4,27.7,37.8,62.9]]], 'Instruction':[['IHEval','hiérarchie des instructions',[84.8,51.3,60.6,67.0]],['IFBench','contraintes de sortie précises',[63.8,60.1,58.9,42.8]],['StructEval-T','sorties structurées valides',[80.4,63.5,76.0,79.3]]], 'Contexte':[['RULER 64K','récupération et raisonnement',[87.0,91.5,95.1,86.5]],['LongBench v2 (48K)','invites longues',[50.5,31.4,59.9,49.3]],['LongMemEval','rappel à travers les conversations',[72.1,25.2,66.8,70.9]]], 'Ancrage':[['GaRAGe','faits issus des sources fournies',[42.6,25.2,24.7,34.7]],['RAGTruth','éviter les affirmations non étayées',[77.6,71.4,75.6,77.0]],['RelyToolBench','ancrage des outils',[63.2,41.2,43.3,61.6]]]}; var cat='Conversation',chips=document.getElementById('mtp-chips'); Object.keys(B).forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cat?' on':'');c.textContent=k;c.addEventListener('click',function(){cat=k;chips.querySelectorAll('.chip').forEach(function(x){x.classList.toggle('on',x===c)});drawBars();});chips.appendChild(c);}); function drawBars(){var box=document. getElementById('mtp-bars');box.innerHTML='';B[cat].forEach(function(b){var mx=Math.max.apply(null,b[2]);var d=document.createElement('div');d.className='bench';var h='<div class="bname">'+b[0]+' <span>'+b[1]+'</span></div>'; b[2].forEach(function(v,i){h+='<div class="row'+(i===0?' bolt':'')+(v===mx?' top':'')+'"><div class="m">'+M[i]+'</div><div class="track"><div class="fill" data-w="'+v+'"></div></div><div class="v">'+v.toFixed(1)+'</div></div>';}); d.innerHTML=h;box.appendChild(d);});requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%';});});});setTimeout(post,60);} var D=[['RTX 5070','12GB',3.5,548,133.4,'Assez rapide pour des tours de voix en direct, avec de la VRAM en réserve pour les modèles de parole.'],['RTX Spark','32GB',3.1,930,67.0,'Utilisation de VRAM la plus faible dans les tests de NVIDIA, moins de 1 seconde jusqu’au premier token.'],['Jetson AGX Orin','32GB',4.2,3687,24.0,'Utilisable pour les robots et les bornes ; attendez-vous à des premières réponses de plusieurs secondes avec une entrée de 3K.'],['Jetson Orin Nano','8GB',4.2,5785,15.5,'Tient sur la carte de 8GB, mais la latence du premier token reste le goulot d’étranglement avec une entrée de 3K.']]; var curDev=0,devs=document.getElementById('mtp-devs'); D.forEach(function(d,i){var b=document.createElement('button');b.className='dev'+(i===0?' on':'');b.innerHTML=d[0]+'<small>'+d[1]+'</small>';b.addEventListener('click',function(){curDev=i;devs.querySelectorAll('.dev').forEach(function(x){x.classList.toggle('on',x===b)});showDev(i);});devs.appendChild(b);}); function count(el,to,dec){var s=performance.now(),dur=700;function f(t){var p=Math.min(1,(t-s)/dur);p=1-Math.pow(1-p,3);var v=to*p;el.textContent=dec?v.toFixed(dec):Math.round(v).toLocaleString('en-US');if(p<1)requestAnimationFrame(f);}requestAnimationFrame(f);} function showDev(i){var d=D[i];count(document.getElementById('mtp-vram'),d[2],1);count(document.getElementById('mtp-ttft'),d[3],0);count(document. getElementById('mtp-tps'),d[4],1); document.getElementById('mtp-vb').style.width=(d[2]/6*100)+'%';document.getElementById('mtp-tb').style.width=(d[3]/6000*100)+'%';document.getElementById('mtp-pb').style.width=(d[4]/140*100)+'%';document.getElementById('mtp-verdict').textContent=d[5];setTimeout(post,60);} window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> ">Bolt ne gagne pas partout. Qwen3.5-4B domine sur Tau2-Bench (75.1 contre 55.1) et RULER 64K (95.1 contre 87.0). Il domine aussi LongBench v2 (59.9 contre 50.5) et BFCL-v3 (70.9 contre 68.5). Gemma 4 E4B conserve un léger avantage sur EQ-Bench v3 (41.1 contre 39.4).
Comment Bolt E4B se compare-t-il aux autres petits modèles ?
| Caractéristique | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | Qwen3.5-4B | Nemotron 3 Nano 4B |
|---|---|---|---|---|
| Paramètres | 8B au total, 4B effectifs | 8B avec les embeddings, 4.5B effectifs | 4B (modèle de langage) | 3.97B |
| Architecture | Gemma 4 E4B, post-entraîné par RL | Dense avec Per-Layer Embeddings | Hybride Gated DeltaNet + attention | Hybride Mamba-2 + Transformer |
| Contexte | 64K | 128K | 262K | 262K |
| Licence | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | NVIDIA Nemotron Open Model License |
| Entrées | Texte (fiche) ; NIM accepte aussi les images et l'audio | Texte, image, audio | Texte, image, vidéo | Texte |
| IHEval* | 84.8 | 67.0 | 60.6 | 51.3 |
| MultiChallenge* | 53.1 | 42.1 | 51.8 | 35.3 |
| Tau2-Bench* | 55.1 | 38.5 | 75.1 | 29.2 |
| RULER 64K* | 87.0 | 86.5 | 95.1 | 91.5 |
| Disponibilité | Poids ouverts ; API gratuite sur build.nvidia.com | Poids ouverts | Poids ouverts | Poids ouverts |
*Les lignes de benchmark sont des scores BF16 mesurés par NVIDIA tirés de l' article de lancement de Bolt. Les scores rapportés par le fournisseur diffèrent.
Sur quel matériel fonctionne-t-il ?
NVIDIA a mesuré la version Q4_K_M avec llama.cpp à une taille de lot (batch size) de 1. Les chiffres ci-dessous utilisent 3K en entrée et 50 jetons en sortie.
| Appareil | VRAM (Go) | Temps jusqu'au premier jeton (ms) | Jetons/s |
|---|---|---|---|
| RTX 5070 (12 Go) | 3.5 | 548 | 133.4 |
| RTX Spark (32 Go) | 3.1 | 930 | 67.0 |
| Jetson AGX Orin (32 Go) | 4.2 | 3,687 | 24.0 |
| Jetson Orin Nano (8 Go) | 4.2 | 5,785 | 15.5 |
L'étiquette « 4GB » décrit une enveloppe mémoire cible, pas la taille du fichier. Le Q4_K_M GGUF sur Hugging Face fait 6.18 Go.
Bolt est disponible sur Hugging Face, Ollama, LM Studio, Unsloth et Jetson AI Lab. Il est également disponible sous forme de NVIDIA NIM et via le In-Game Inferencing SDK.
Points clés à retenir
- Gemma 4 E4B, post-entraîné par NVIDIA avec uniquement du RL, sans SFT.
- Mène sur 15 des 21 benchmarks d’agents dans le harnais propre à NVIDIA.
- IHEval 84.8 est le point fort ; Tau2-Bench 55.1 est le point faible.
- « 4 Go » est la cible de VRAM ; le fichier GGUF fait 6.18 Go.
- Poids, données et recettes ouverts sous OpenMDW-1.1.
Découvrez le rapport technique, modèle GGUF, modèle BF16 et la recette d’entraînement. Tout le mérite revient au chercheur de ce projet. Par ailleurs, n’hésitez pas à nous suivre sur Twitter et n’oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! Êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement de votre produit OU votre webinaire, etc. ? Contactez-nous
L'article NVIDIA lance Nemotron 3.5 Bolt E4B 4GB : un petit modèle de langage open source pour les agents vocaux locaux, les personnages de jeux vidéo et les robots est apparu en premier sur MarkTechPost.