NVIDIA acaba de lanzar Nemotron 3.5 Bolt E4B 4GB, un modelo de lenguaje pequeño y abierto para agentes conversacionales rápidos. Está dirigido a asistentes de voz, NPCs de videojuegos e interfaces de robots que se ejecutan localmente en hardware RTX, Jetson y Spark. El modelo está post-entrenado a partir del Gemma 4 E4B de Google usando únicamente aprendizaje por refuerzo. Para los desarrolladores, esto es comportamiento de agente en unos 4GB de VRAM. Eso deja espacio para modelos de voz y visión.
TL;DR
- Tamaño: 8B de parámetros totales, 4B efectivos, contexto de 64K.
- Se ejecuta en: GeForce RTX, Jetson, RTX Spark y DGX Spark. La compilación Q4_K_M usó de 3.1 a 4.3 GB de VRAM en RTX según las pruebas de NVIDIA.
- Rendimiento: Puntuación más alta en 15 de 21 benchmarks frente a Gemma 4 E4B, Qwen3.5-4B y Nemotron 3 Nano 4B (medido por NVIDIA).
- Mejor: IHEval 84.8, frente a 67.0 de Gemma 4 E4B y 60.6 de Qwen3.5-4B.
- Peor: Tau2-Bench 55.1, unos 20 puntos por detrás de Qwen3.5-4B con 75.1.
¿Qué es Nemotron 3.5 Bolt E4B?
Nemotron 3.5 Bolt E4B es un modelo de lenguaje pequeño de NVIDIA que impulsa agentes conversacionales locales. Combina diálogo natural con llamadas a herramientas de múltiples turnos. NVIDIA enumera 3 cargas de trabajo objetivo: asistentes de dispositivo y de voz, personajes interactivos y agentes integrados o industriales.
El informe de investigación muestra un robot Reachy Mini funcionando en un Jetson Orin Nano 8GB. En esa demostración, Cosmos 3 Edge se encarga de la visión mientras Bolt maneja las respuestas de voz y las llamadas a herramientas. El equipo de NVIDIA también llama a Bolt el modelo pequeño de tercera generación para personajes de videojuegos NVIDIA ACE.
Características principales de la publicación de lanzamiento:
- Uso de herramientas de múltiples turnos, con guía para llamadas a herramientas asíncronas.
- Un
conversational_modeindicador para respuestas cortas listas para voz. - Razonamiento configurable, además de un presupuesto de pensamiento en tiempo de ejecución para limitar la latencia.
- Contexto de 64K para historial, definiciones de herramientas y estado de la aplicación.
¿Cómo se entrenó Bolt E4B?
NVIDIA omitió por completo el ajuste fino supervisado. Según el informe de investigación, el SFT mejoró las llamadas a herramientas pero perjudicó la calidad conversacional y la verbosidad de Gemma. En cambio, el equipo de investigación usó RLVR y RLHF mediante NeMo-RL y NeMo-Gym.
Cada muestra de entrenamiento se ejecutó en modo de razonamiento y en modo sin razonamiento. Cada lote mantuvo una proporción de 2:1 entre muestras sin razonamiento y con razonamiento. Las penalizaciones de longitud en el entorno GenRM impidieron que las respuestas crecieran durante el entrenamiento. Los conjuntos de datos y la receta completa son públicos.
Para el despliegue, NVIDIA cuantizó el checkpoint BF16 a Q4_K_M con calibración de matriz de importancia. La calibración usó alrededor de 1M de tokens de rollouts de RL. La versión también incluye un DFlash drafter para decodificación especulativa. En una RTX 5070, Bolt con DFlash alcanzó 272.6 tokens/s. Gemma 4 E4B con su MTP drafter alcanzó 225.9 tokens/s, por lo que Bolt es 1.21x más rápido.
¿Cómo rinde Nemotron 3.5 Bolt E4B en los benchmarks?
NVIDIA agrupó 21 benchmarks en 5 áreas de capacidad. Todas las puntuaciones aquí son BF16, medidas por NVIDIA en su propio harness de NeMo-Gym. Bolt lideró 15 de 21 filas en modo de razonamiento.
NVIDIA también reporta puntuaciones promedio aproximadamente un 40% más altas que Nemotron 3 Nano 4B. Afirma hasta un 80% menos de tokens de salida en comparaciones con razonamiento habilitado. Por separado, Scale Labs clasificó a Bolt primero entre los modelos pequeños en MultiChallenge con 56.03%, según una publicación en X.
</div> <div class="node">RLVR + RLHF</div><div class="arr"></div> <div class="node">Control de verbosidad</div><div class="arr"></div> <div class="node">Q4_K_M imatrix</div><div class="arr"></div> <div class="node">DFlash drafter</div> </div> <div class="stepbox"> <div class="stepn" id="mtp-sn">Paso 1 de 5</div> <div class="stept" id="mtp-st"></div> <p class="stepd" id="mtp-sd"></p> </div> <div class="ctl"> <button class="btn ghost" id="mtp-prev">Atrás</button> <div class="dots"><span class="dot on"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span></div> <button class="btn" id="mtp-next">Siguiente</button> </div> </div> <div class="pane" data-p="2"> <div class="chips" id="mtp-chips"></div> <div id="mtp-bars"></div> <div class="note">Puntuaciones BF16 medidas por NVIDIA en su entorno NeMo-Gym. Las puntuaciones reportadas por el proveedor pueden diferir. El valor en verde marca el mejor de cada fila.</div> </div> <div class="pane" data-p="3"> <div class="devs" id="mtp-devs"></div> <div class="meters"> <div class="meter"><div class="mv" id="mtp-vram">0</div><div class="mu">VRAM (GB)</div><div class="mbar"><div class="mfill" id="mtp-vb"></div></div></div> <div class="meter"><div class="mv" id="mtp-ttft">0</div><div class="mu">Tiempo hasta el primer token (ms)</div><div class="mbar"><div class="mfill" id="mtp-tb"></div></div></div> <div class="meter"><div class="mv" id="mtp-tps">0</div><div class="mu">Generación (tokens/s)</div><div class="mbar"><div class="mfill" id="mtp-pb"></div></div></div> </div> <div class="verdict" id="mtp-verdict"></div> <div class="note">Q4_K_M, llama.cpp (CUDA), batch size 1, entrada de 3K / 50 tokens de salida, sin contexto en caché. Fuente: NVIDIA.</div> </div> <div class="pane" data-p="4"> <div class="two"> <div class="col w"><h4>Dónde gana</h4><ul> <li>IHEval 84.8 frente a 67.0 (Gemma 4 E4B) y 60.6 (Qwen3.5-4B)</li> <li>MultiChallenge 53.1, el mejor de los 4 modelos</li> <li>RelyToolBench 63.2 frente a 43.3 de Qwen3.5-4B</li> <li>1.21x del rendimiento MTP de Gemma con DFlash en RTX 5070</li> </ul></div> <div class="col l"><h4>Dónde se queda atrás</h4><ul> <li>Tau2-Bench 55.1 frente a 75.1 de Qwen3.5-4B</li> <li>RULER 64K 87.0 frente a 95.1 de Qwen3.5-4B</li> <li>MMMU-Pro Vision 42.0 frente a 47.6 de Gemma 4 E4B</li> <li>5,785 ms hasta el primer token en Jetson Orin Nano con entrada de 3K</li> </ul></div> </div> </div> <div class="ft"><span>Fuentes: <a href="https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/" target="_blank" rel="noopener">Blog de NVIDIA</a> · <a href="https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf" target="_blank" rel="noopener">Informe técnico</a> · <a href="https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16" target="_blank" rel="noopener">Ficha del modelo</a></span><span class="brand">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-bolt-e4b'); function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbed:'bolt-e4b',height:h},'*');}catch(e){}} var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane'); tabs.forEach(function(t){t.addEventListener('click',function(){var i=+t.dataset.t;tabs.forEach(function(x){x.classList.toggle('on',x===t)});panes.forEach(function(p){p.classList.toggle('on',+p.dataset.p===i)});if(i===2)drawBars();if(i===3)showDev(curDev);setTimeout(post,60);});}); R.querySelectorAll('.rv').forEach(function(b){b.addEventListener('click',function(){b.classList.toggle('open');setTimeout(post,380);});}); var steps=[ ['Partir de Gemma 4 E4B','Bolt parte de Google’s Gemma-4-E4B-it: 8B de parámetros totales, 4B efectivos. NVIDIA conserva el backbone y cambia el comportamiento.'], ['Postentrenamiento solo con RL','RLVR y RLHF se ejecutan en NeMo-RL y NeMo-Gym. Los entornos cubren llamadas a herramientas, seguimiento de instrucciones, jerarquía de instrucciones y salidas estructuradas. SFT se descartó porque perjudicaba la calidad conversacional.'], ['Entrenar ambos modos, controlar la longitud','Cada muestra se ejecuta con razonamiento activado y desactivado, en una proporción de 2:1 entre sin razonamiento y con razonamiento. Las penalizaciones de longitud relativas al grupo mantienen las respuestas cortas. NVIDIA informa de hasta un 80% menos de tokens de salida que sus competidores.'], ['Cuantizar a Q4_K_M','El checkpoint BF16 se cuantiza con llama.cpp usando calibración de matriz de importancia sobre cerca de 1M de tokens de rollouts de RL. Esta compilación apunta a un entorno de ~4GB de VRAM.'], ['Acelerar con DFlash','Un borrador paralelo propone 7 tokens en una sola pasada; Bolt los verifica. En una RTX 5070 alcanza 272.6 tokens/s frente a 225.9 para Gemma con MTP, una ganancia de 1.21x.']]; var si=0,nodes=R.querySelectorAll('.node'),arrs=R.querySelectorAll('.arr'),dots=R.querySelectorAll('.dot'); function step(){document.getElementById('mtp-sn').textContent='Paso '+(si+1)+' de 5';document.getElementById('mtp-st').textContent=steps[si][0];document.getElementById('mtp-sd').textContent=steps[si][1]; nodes.forEach(function(n,i){n.classList.toggle('on',i<=si)});arrs. forEach(function(a,i){a.classList.toggle('on',i<si)});dots.forEach(function(d,i){d.classList.toggle('on',i===si)}); document.getElementById('mtp-prev').disabled=si===0;document.getElementById('mtp-next').textContent=si===4?'Reiniciar':'Siguiente';setTimeout(post,60);} document.getElementById('mtp-prev').addEventListener('click',function(){if(si>0){si--;step();}}); document.getElementById('mtp-next').addEventListener('click',function(){si=si===4?0:si+1;step();}); step(); var M=['Bolt E4B','Nemotron 3 Nano 4B','Qwen3.5-4B','Gemma 4 E4B']; var B={'Conversación':[['MultiChallenge','consistencia entre turnos',[53.1,35.3,51.8,42.1]],['RoleMRC','adherencia a la identidad del rol',[80.6,47.0,65.8,74.6]],['EQ-Bench v3','inteligencia emocional',[39.4,19.3,32.9,41.1]]], 'Uso de herramientas':[['BFCL-v3','herramientas y argumentos correctos',[68.5,61.1,70.9,66.4]],['Tau2-Bench','tareas de clientes de varios turnos',[55.1,29.2,75.1,38.5]],['When2Call-MT','llamar, aclarar o abstenerse',[63.4,27.7,37.8,62.9]]], 'Instrucción':[['IHEval','jerarquía de instrucciones',[84.8,51.3,60.6,67.0]],['IFBench','restricciones de salida precisas',[63.8,60.1,58.9,42.8]],['StructEval-T','salidas estructuradas válidas',[80.4,63.5,76.0,79.3]]], 'Contexto':[['RULER 64K','recuperación y razonamiento',[87.0,91.5,95.1,86.5]],['LongBench v2 (48K)','prompts largos',[50.5,31.4,59.9,49.3]],['LongMemEval','recuerdo entre conversaciones',[72.1,25.2,66.8,70.9]]], 'Fundamentación':[['GaRAGe','hechos de fuentes suministradas',[42.6,25.2,24.7,34.7]],['RAGTruth','evitar afirmaciones sin respaldo',[77.6,71.4,75.6,77.0]],['RelyToolBench','fundamentación en herramientas',[63.2,41.2,43.3,61.6]]]}; var cat='Conversación',chips=document.getElementById('mtp-chips'); Object.keys(B).forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cat?' on':'');c.textContent=k;c.addEventListener('click',function(){cat=k;chips.querySelectorAll('.chip').forEach(function(x){x.classList.toggle('on',x===c)});drawBars();});chips.appendChild(c);}); function drawBars(){var box=document. getElementById('mtp-bars');box.innerHTML='';B[cat].forEach(function(b){var mx=Math.max.apply(null,b[2]);var d=document.createElement('div');d.className='bench';var h='<div class="bname">'+b[0]+' <span>'+b[1]+'</span></div>'; b[2].forEach(function(v,i){h+='<div class="row'+(i===0?' bolt':'')+(v===mx?' top':'')+'"><div class="m">'+M[i]+'</div><div class="track"><div class="fill" data-w="'+v+'"></div></div><div class="v">'+v.toFixed(1)+'</div></div>';}); d.innerHTML=h;box.appendChild(d);});requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%';});});});setTimeout(post,60);} var D=[['RTX 5070','12GB',3.5,548,133.4,'Suficientemente rápido para turnos de voz en vivo, con VRAM de sobra para modelos de voz.'],['RTX Spark','32GB',3.1,930,67.0,'Menor uso de VRAM en las pruebas de NVIDIA, menos de 1 segundo hasta el primer token.'],['Jetson AGX Orin','32GB',4.2,3687,24.0,'Viable para robots y quioscos; espera primeras respuestas de varios segundos con entradas de 3K.'],['Jetson Orin Nano','8GB',4.2,5785,15.5,'Cabe en la placa de 8GB, pero la latencia del primer token es el cuello de botella con entradas de 3K.']]; var curDev=0,devs=document.getElementById('mtp-devs'); D.forEach(function(d,i){var b=document.createElement('button');b.className='dev'+(i===0?' on':'');b.innerHTML=d[0]+'<small>'+d[1]+'</small>';b.addEventListener('click',function(){curDev=i;devs.querySelectorAll('.dev').forEach(function(x){x.classList.toggle('on',x===b)});showDev(i);});devs.appendChild(b);}); function count(el,to,dec){var s=performance.now(),dur=700;function f(t){var p=Math.min(1,(t-s)/dur);p=1-Math.pow(1-p,3);var v=to*p;el.textContent=dec?v.toFixed(dec):Math.round(v).toLocaleString('en-US');if(p<1)requestAnimationFrame(f);}requestAnimationFrame(f);} function showDev(i){var d=D[i];count(document.getElementById('mtp-vram'),d[2],1);count(document.getElementById('mtp-ttft'),d[3],0);count(document. getElementById('mtp-tps'),d[4],1); document.getElementById('mtp-vb').style.width=(d[2]/6*100)+'%';document.getElementById('mtp-tb').style.width=(d[3]/6000*100)+'%';document.getElementById('mtp-pb').style.width=(d[4]/140*100)+'%';document.getElementById('mtp-verdict').textContent=d[5];setTimeout(post,60);} window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> ">Bolt no gana en todas partes. Qwen3.5-4B lidera en Tau2-Bench (75.1 frente a 55.1) y RULER 64K (95.1 frente a 87.0). También lidera en LongBench v2 (59.9 frente a 50.5) y BFCL-v3 (70.9 frente a 68.5). Gemma 4 E4B mantiene una ventaja estrecha en EQ-Bench v3 (41.1 frente a 39.4).
¿Cómo se compara Bolt E4B con otros modelos pequeños?
| Característica | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | Qwen3.5-4B | Nemotron 3 Nano 4B |
|---|---|---|---|---|
| Parámetros | 8B en total, 4B efectivos | 8B con embeddings, 4.5B efectivos | 4B (modelo de lenguaje) | 3.97B |
| Arquitectura | Gemma 4 E4B, con post-entrenamiento por RL | Densa con Per-Layer Embeddings | Híbrida de Gated DeltaNet + atención | Híbrida de Mamba-2 + Transformer |
| Contexto | 64K | 128K | 262K | 262K |
| Licencia | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | NVIDIA Nemotron Open Model License |
| Entradas | Texto (tarjeta); NIM también acepta imagen y audio | Texto, imagen, audio | Texto, imagen, video | Texto |
| IHEval* | 84.8 | 67.0 | 60.6 | 51.3 |
| MultiChallenge* | 53.1 | 42.1 | 51.8 | 35.3 |
| Tau2-Bench* | 55.1 | 38.5 | 75.1 | 29.2 |
| RULER 64K* | 87.0 | 86.5 | 95.1 | 91.5 |
| Disponibilidad | Pesos abiertos; API gratuita en build.nvidia.com | Pesos abiertos | Pesos abiertos | Pesos abiertos |
*Las filas de benchmarks son puntuaciones BF16 medidas por NVIDIA del Bolt launch post. Las puntuaciones informadas por el proveedor difieren.
¿En qué hardware funciona?
NVIDIA midió la compilación Q4_K_M con llama.cpp con un tamaño de lote de 1. Las cifras siguientes usan 3K de entrada y 50 tokens de salida.
| Dispositivo | VRAM (GB) | Tiempo hasta el primer token (ms) | Tokens/s |
|---|---|---|---|
| RTX 5070 (12GB) | 3.5 | 548 | 133.4 |
| RTX Spark (32GB) | 3.1 | 930 | 67.0 |
| Jetson AGX Orin (32GB) | 4.2 | 3,687 | 24.0 |
| Jetson Orin Nano (8GB) | 4.2 | 5,785 | 15.5 |
La etiqueta «4GB» describe un envolvente de memoria objetivo, no el tamaño del archivo. El Q4_K_M GGUF en Hugging Face es de 6.18 GB.
Bolt está disponible en Hugging Face, Ollama, LM Studio, Unsloth y Jetson AI Lab. También se distribuye como un NVIDIA NIM y a través del In-Game Inferencing SDK.
Puntos clave
- Gemma 4 E4B, post-entrenado por NVIDIA solo con RL, sin SFT.
- Lidera 15 de 21 benchmarks de agentes en el propio harness de NVIDIA.
- IHEval 84.8 es lo destacado; Tau2-Bench 55.1 es el punto débil.
- «4GB» es el objetivo de VRAM; el archivo GGUF es de 6.18 GB.
- Pesos, datos y recetas abiertos bajo OpenMDW-1.1.
Echa un vistazo al informe técnico, modelo GGUF, modelo BF16 y receta de entrenamiento. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro 150k+ML SubReddit y suscribirte a nuestro Newsletter. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub, página de Hugging Face, lanzamiento de producto, webinar, etc.? Conéctese con nosotros
La entrada NVIDIA lanza Nemotron 3.5 Bolt E4B 4GB: un modelo de lenguaje pequeño y abierto para agentes de voz locales, personajes de videojuegos y robots apareció primero en MarkTechPost.