El Nemotron 3.5 Super VL de Nvidia es un modelo abierto diseñado para ejecutar agentes de IA empresariales sin parar

El Nemotron 3.5 Super VL de Nvidia es un modelo abierto diseñado para ejecutar agentes de IA empresariales sin parar

Puntos clave

• Nvidia ha lanzado Nemotron 3.5 Super VL, un modelo multimodal abierto con 120 mil millones de parámetros diseñado para tareas de agentes y análisis de documentos en entornos empresariales.
• Dos variantes Bolt más pequeñas apuntan a máquinas locales: un modelo muy comprimido para sistemas con 24 GB de memoria o más, y una versión de 4 GB posterior para asistentes de voz.
• Nvidia publica conjuntos de datos y recetas de entrenamiento junto con los pesos del modelo, pero optimiza todo para su propio hardware para impulsar las ventas de chips y sistemas.

Nvidia ha lanzado Nemotron 3.5 Super VL, un modelo multimodal abierto con 120 mil millones de parámetros diseñado para agentes empresariales. Junto a él se lanzan dos modelos Bolt compactos concebidos para llevar agentes de IA a PC locales y dispositivos periféricos.

Nvidia construyó Nemotron 3.5 Super VL para agentes especializados que se ejecutan continuamente en segundo plano, procesando texto, imágenes, documentos y videos.

Como explica la empresa en una entrada de blog técnica, utiliza una arquitectura Mixture-of-Experts en la que solo 12 mil millones de los 120 mil millones de parámetros están activos por token. Nvidia desarrolló el modelo con la Nemotron Coalition, un grupo que incluye a Mistral AI, Thinking Machines Lab, Perplexity y Black Forest Labs.

Dos modelos más pequeños para hardware local se lanzan al mismo tiempo. Nemotron 3.5 Bolt 74B-A9B 24GB ejecuta tareas de agentes en máquinas locales, mientras que el más pequeño Bolt E4B 4GB apunta a asistentes de voz rápidos y llegará más adelante este mes. Ambos modelos ofrecen la "mayor inteligencia por gigabyte de memoria", afirma Nvidia.Anuncio

Super VL y Bolt se unen a la línea existente de Nemotron. Lightning, lanzada en agosto, está diseñada para un alto rendimiento, mientras que Ultra aborda tareas de razonamiento difíciles. Cada variante está optimizada para hardware de Nvidia.

Nvidia afirma que su modelo más grande logra la misma precisión con un quinto del tamaño

Nvidia destiló Super VL a partir de Nemotron 3 Ultra, su modelo de razonamiento más grande. En tareas donde un agente sigue instrucciones, llama a herramientas, trabaja en procesos empresariales de varios pasos o analiza imágenes, se supone que Super VL iguala la precisión de Ultra con solo alrededor de un quinto de los parámetros. En pruebas de agentes de Hermes y LangChain, en realidad puntúa más alto que Ultra, según Nvidia, y también supera a su predecesor Nemotron 3 Super en los puntos de referencia de programación SWE-bench y Terminal-Bench.

En una sola GPU, Super VL ofrece hasta cinco veces el rendimiento de otros modelos abiertos de tamaño similar en tareas de agentes, según Nvidia, citando la clasificación de Artificial Analysis. En una prueba independiente de EXO Labs en el DGX Spark, ningún otro modelo fue a la vez más preciso y más rápido. Esa ventaja de velocidad rinde cuando los agentes necesitan procesar grandes volúmenes de tareas durante días o semanas.

Frente a los modelos frontera cerrados, Nvidia promociona Super VL para empresas que quieren ajustar con sus propios datos y ejecutar el modelo en sus propios servidores, libres de los términos de servicio de un proveedor. Nvidia dice que podría atraer a una aseguradora que examina continuamente reclamaciones en busca de fraude, o a una empresa de servicios financieros que evalúa la solvencia según sus propios criterios. Para la personalización, la empresa ofrece su framework NeMo, pipelines de Python y conjuntos de datos abiertos.Anuncio

La compresión y la caché reducen la sobrecarga de cómputo

Nvidia comprime Super VL con su formato NVFP4 de 4 bits. En las GPU Blackwell, el modelo se ejecuta completamente en precisión de 4 bits, mientras que las tarjetas más antiguas almacenan solo los pesos a 4 bits y realizan los cálculos a 16 bits. Las partes sensibles del modelo mantienen una precisión mayor. Para evitar la pérdida de calidad, Nvidia entrenó la versión comprimida para que coincidiera con las salidas del original sin comprimir.

Un componente de borrador integrado propone varios tokens por adelantado, que el modelo principal luego verifica en una sola pasada hacia adelante. En el DGX Spark, Nvidia recomienda en cambio su propio método LiLiCorr, que evalúa todos los tokens del borrador juntos para obtener una salida más coherente. Nvidia dice que este enfoque acelera la generación de texto hasta 2.3 veces en comparación con ejecutar sin borradores especulativos.

Los agentes envían las mismas instrucciones, descripciones de herramientas e historial de conversación con cada solicitud, por lo que Super VL almacena en caché los cálculos de estas partes recurrentes en lugar de volver a ejecutarlos cada vez. El software de inferencia de Nvidia Dynamo también enruta las solicitudes de la misma sesión a la GPU que ya contiene la caché de esa sesión. En 16 GPU B200, esto permite que Super VL sirva a ocho veces más usuarios concurrentes, y el tiempo hasta el primer token se reduce en un 85 por ciento.

Super VL analiza tablas, gráficos y PDF sin un modelo de visión separado

Para la visión, Nvidia se centró en el tipo de material que los agentes encuentran en el trabajo diario, incluidos OCR, tablas, gráficos, documentos de varias páginas y videos. Super VL puede interpretar un gráfico, vincularlo a una tabla en otra parte del mismo documento y resumir ambos sin necesidad de un modelo de imágenes separado.

En el benchmark de gráficos CharXiv, Super VL obtiene un 80.8 por ciento, según Nvidia, mientras que el anterior Nemotron 3 Nano Omni alcanzó el 63 por ciento. Cuando el modelo también puede ejecutar código Python, la puntuación sube al 84 por ciento. En la tabla de clasificación de OCRBench v2, se sitúa entre los mejores modelos abiertos, dice Nvidia.

Los agentes locales aún exigen hardware costoso

Bolt 74B-A9B 24GB es una versión reducida de Super VL construida como un modelo híbrido Mixture-of-Experts donde solo 9 de sus 74 mil millones de parámetros están activos en cada paso. Para meterlo en 24 GB de memoria, Nvidia aplica una cuantización agresiva de 2 bits a los pesos.

Bolt maneja tareas locales cotidianas donde un agente necesita trabajar a través de múltiples pasos, llamar herramientas o buscar en la web. Los usuarios pueden hacer que escriba y depure código o averigüe qué componentes de PC encajan con su sistema, según Nvidia.

El modelo está optimizado para el RTX Spark, un nuevo chip para portátiles con Windows con capacidad de IA, y el DGX Spark, una estación de trabajo de IA compacta con hasta 128 GB de memoria compartida. También funciona en PC GeForce RTX, DGX Station y estaciones de trabajo RTX PRO, y es compatible con llama.cpp, Ollama, LM Studio y vLLM.

Incluso con una compresión intensa, 24 GB es una barrera alta. Solo hardware de gama alta costoso ofrece esa cantidad de memoria, y con los precios actuales de las GPU, la mayoría de los consumidores no pueden justificar el costo. Por ahora, el agente local está dirigido a desarrolladores y propietarios de estaciones de trabajo potentes.

Para dispositivos más débiles, Nvidia tiene previsto el Bolt E4B 4GB, aunque aún no se ha lanzado. Está diseñado para funcionar en tarjetas GeForce RTX, módulos Jetson y RTX/DGX Spark, impulsando asistentes de voz, personajes interactivos o interfaces de dispositivos. Se supone que el modelo mantiene conversaciones naturales mientras usa herramientas a lo largo de múltiples turnos y mantiene la conciencia de lo que sucede en la aplicación actual.

Los primeros usuarios abarcan las finanzas y la ciberseguridad

Decenas de organizaciones ya están ajustando Super VL para sus propias necesidades, dice Nvidia, principalmente en industrias con grandes cargas de documentos y datos sensibles. Scale AI adaptó el modelo para un agente que gestiona créditos de proveedores en la empresa de medios Skydance, y se espera que los costos caigan a una cuadragésima parte y el tiempo de respuesta a un quinto. Ramp usa el modelo para convertir fotos de recibos en datos estructurados y espera respuestas diez veces más rápidas. EY lo usa para la debida diligencia de adquisiciones, y Hebbia para analizar acuerdos de crédito.

Una segunda ola de usuarios proviene de la ciberseguridad. AI21 ajustó Super VL para la empresa de seguridad Alice, que lo usa para analizar amenazas y vulnerabilidades, con una mejora en la precisión del 40 por ciento según Nvidia. Dream usa el modelo para buscar vulnerabilidades, y CrowdStrike está construyendo agentes para defender redes empresariales. Salesforce planea automatizar flujos de trabajo gubernamentales, R1 está auditando facturación médica, y Perplexity, Dassault Systèmes y Mercor también están usando el modelo.

Nvidia publica conjuntos de datos y recetas de entrenamiento

Nvidia publica los pesos en una versión base, una versión post-entrenada y una versión comprimida de 4 bits, junto con los conjuntos de datos y recetas de entrenamiento y los entornos de aprendizaje por refuerzo. Eso hace que Super VL sea más abierto que muchos modelos de pesos abiertos, que normalmente solo comparten los pesos.

El modelo fue entrenado con más de 25 billones de tokens durante el preentrenamiento y el preentrenamiento continuado, según Nvidia, con el postentrenamiento y el aprendizaje por refuerzo añadiendo aproximadamente cuatro millones de ejemplos en unos 100 entornos de entrenamiento abiertos.

En Hugging Face, Nvidia también publica varios conjuntos de datos que otros desarrolladores pueden usar para entrenar o ajustar sus propios modelos. Cubren cómo los agentes usan herramientas, siguen instrucciones, manejan textos largos y comprenden imágenes, mientras que otros conjuntos de datos tratan sobre finanzas, seguridad y equidad.

Un conjunto de datos se centra en lenguas habladas en India. Nvidia lo construyó junto con el Indian Institute of Technology Madras y su laboratorio de IA AI4Bharat, y contiene unos 2.83 billones de tokens de texto en 22 lenguas indias.

Los modelos abiertos venden hardware de Nvidia

Super VL funciona en sistemas de escritorio como DGX Spark, DGX Station, RTX PRO y RTX, en módulos Jetson en dispositivos de borde, y en centros de datos y la nube. A través de Nvidia NIM, las empresas obtienen el modelo como un microservicio listo para desplegar con configuraciones validadas y soporte, con actualizaciones previstas cada dos semanas. Los pesos están disponibles en Hugging Face para Nemotron 3.5 Super VL 120B-A12B y Nemotron 3.5 Bolt 74B-A9B 24GB.

Nvidia publica los modelos de forma abierta, pero los ajusta para sus propios productos, desde servidores de centro de datos hasta estaciones de trabajo. Cualquiera que quiera sacar el máximo provecho de Nemotron acaba comprando hardware de Nvidia.

La estrategia detrás de los modelos abiertos de Nvidia es interesada. Cuantas más empresas ejecutan sus propios modelos abiertos, mayor es la demanda de hardware de cómputo, y los modelos abiertos probablemente seguirán optimizados para Nvidia en el futuro previsible. Mientras tanto, empresas como Meta, Google, Anthropic y OpenAI están construyendo sus propios chips y optimizando modelos para ellos. Para impulsar aún más la difusión de los modelos de IA abiertos, Nvidia invirtió recientemente 12.900 millones de dólares en Hugging Face, una de las plataformas más importantes para desarrollarlos y compartirlos.

Noticias de IA sin exageraciones – Curado por humanos

Suscríbete a THE DECODER para leer sin publicidad, un boletín semanal de IA, nuestro informe exclusivo de frontera "AI Radar" seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.