Nemotron 3.5 Super VL de Nvidia est un modèle ouvert conçu pour faire fonctionner des agents d'IA d'entreprise en continu

Nemotron 3.5 Super VL de Nvidia est un modèle ouvert conçu pour faire fonctionner des agents d'IA d'entreprise en continu

Points clés

• Nvidia a publié Nemotron 3.5 Super VL, un modèle multimodal ouvert de 120 milliards de paramètres conçu pour les tâches d'agents et l'analyse de documents en environnement d'entreprise.
• Deux variantes Bolt plus petites ciblent les machines locales : un modèle fortement compressé pour les systèmes dotés de 24 Go de mémoire ou plus, et une version ultérieure de 4 Go pour les assistants vocaux.
• Nvidia publie des jeux de données et des recettes d'entraînement alongside les poids du modèle, mais optimise tout pour son propre matériel afin de stimuler les ventes de puces et de systèmes.

Nvidia a publié Nemotron 3.5 Super VL, un modèle multimodal ouvert de 120 milliards de paramètres conçu pour les agents d'entreprise. Deux modèles Bolt compacts, destinés à amener les agents d'IA sur des PC locaux et des appareils en périphérie, sont lancés en même temps.

Nvidia a conçu Nemotron 3.5 Super VL pour des agents spécialisés qui fonctionnent en continu en arrière-plan, traitant du texte, des images, des documents et des vidéos.

Comme l'explique l'entreprise dans un article de blog technique, elle utilise une architecture Mixture-of-Experts où seuls 12 milliards des 120 milliards de paramètres sont actifs par token. Nvidia a développé le modèle avec la Nemotron Coalition, un groupe qui inclut Mistral AI, Thinking Machines Lab, Perplexity et Black Forest Labs.

Deux modèles plus petits pour le matériel local sortent en même temps. Nemotron 3.5 Bolt 74B-A9B 24GB exécute des tâches d'agents sur des machines locales, tandis que le plus petit Bolt E4B 4GB cible les assistants vocaux rapides et suivra plus tard ce mois-ci. Les deux modèles offrent « la plus haute intelligence par gigaoctet de mémoire », affirme Nvidia.Pub

Super VL et Bolt rejoignent la gamme Nemotron existante. Lightning, publiée en août, est conçue pour un haut débit, tandis qu' Ultra s'attaque aux tâches de raisonnement difficiles. Chaque variante est optimisée pour le matériel Nvidia.

Nvidia affirme que son plus grand modèle égale la précision de Ultra pour un cinquième de sa taille

Nvidia a distillé Super VL à partir de Nemotron 3 Ultra, son plus grand modèle de raisonnement. Sur les tâches où un agent suit des instructions, appelle des outils, traite des processus métier en plusieurs étapes ou analyse des images, Super VL est censé égaler la précision d'Ultra avec seulement environ un cinquième des paramètres. Dans les tests d'agents de Hermes et LangChain, il obtient en réalité des scores supérieurs à Ultra, selon Nvidia, et il surpasse également son prédécesseur Nemotron 3 Super sur les benchmarks de code SWE-bench et Terminal-Bench.

Sur un seul GPU, Super VL délivre jusqu'à cinq fois le débit d'autres modèles ouverts de taille similaire sur les tâches d'agents, selon Nvidia, citant le classement d'Artificial Analysis. Dans un test indépendant d'EXO Labs sur le DGX Spark, aucun autre modèle n'était à la fois plus précis et plus rapide. Cet avantage de vitesse porte ses fruits lorsque les agents doivent traiter de grands volumes de tâches sur des jours ou des semaines.

Face aux modèles fermés de pointe, Nvidia positionne Super VL pour les entreprises qui veulent fine-tuner avec leurs propres données et exécuter le modèle sur leurs propres serveurs, à l'abri des conditions d'utilisation d'un fournisseur. Nvidia affirme que cela pourrait séduire un assureur qui passe continuellement au crible les demandes d'indemnisation pour détecter les fraudes, ou une société de services financiers qui évalue la solvabilité selon ses propres critères. Pour la personnalisation, l'entreprise fournit son framework NeMo, des pipelines Python et des jeux de données ouverts.Pub

La compression et le caching réduisent la charge de calcul

Nvidia compresse Super VL avec son format NVFP4 4 bits. Sur les GPU Blackwell, le modèle fonctionne entièrement en précision 4 bits, tandis que les cartes plus anciennes ne stockent que les poids en 4 bits et effectuent les calculs en 16 bits. Les parties sensibles du modèle conservent une précision plus élevée. Pour éviter toute perte de qualité, Nvidia a entraîné la version compressée à reproduire les sorties de l'original non compressé.

Un composant de brouillon intégré propose plusieurs tokens à l'avance, que le modèle principal vérifie ensuite en une seule passe avant. Sur le DGX Spark, Nvidia recommande plutôt sa propre méthode LiLiCorr, qui évalue tous les tokens de brouillon ensemble pour une sortie plus cohérente. Nvidia affirme que cette approche accélère la génération de texte jusqu'à 2.3x par rapport à une exécution sans brouillons spéculatifs.

Les agents envoient les mêmes instructions, descriptions d'outils et historique de conversation à chaque requête, si bien que Super VL met en cache les calculs de ces parties récurrentes plutôt que de les réexécuter à chaque fois. Le logiciel d'inférence de Nvidia Dynamo route également les requêtes d'une même session vers le GPU qui détient déjà le cache de cette session. Sur 16 GPU B200, cela permet à Super VL de servir huit fois plus d'utilisateurs simultanés, et le temps jusqu'au premier token diminue de 85 pour cent.

Super VL analyse les tableaux, graphiques et PDF sans modèle de vision distinct

Pour la vision, Nvidia s'est concentré sur le type de contenu que les agents rencontrent dans leur travail quotidien, notamment l'OCR, les tableaux, les graphiques, les documents multipages et les vidéos. Super VL peut interpréter un graphique, le relier à un tableau présent ailleurs dans le même document, et résumer les deux sans avoir besoin d'un modèle d'image distinct.

Sur le benchmark de graphiques CharXiv, Super VL obtient un score de 80.8 pour cent, selon Nvidia, tandis que l'ancien Nemotron 3 Nano Omni atteignait 63 pour cent. Lorsque le modèle peut également exécuter du code Python, le score monte à 84 pour cent. Sur le classement OCRBench v2, il figure parmi les meilleurs modèles ouverts, selon Nvidia.

Les agents locaux exigent toujours un matériel coûteux

Bolt 74B-A9B 24GB est une version allégée de Super VL conçue comme un modèle hybride Mixture-of-Experts où seuls 9 de ses 74 milliards de paramètres sont actifs à chaque étape. Pour le faire tenir dans 24 Go de mémoire, Nvidia applique une quantization agressive en 2 bits aux poids.

Bolt gère les tâches locales quotidiennes où un agent doit enchaîner plusieurs étapes, appeler des outils ou chercher sur le web. Les utilisateurs peuvent lui faire écrire et déboguer du code ou déterminer quels composants PC sont compatibles avec leur système, selon Nvidia.

Le modèle est optimisé pour les RTX Spark, une nouvelle puce pour ordinateurs portables Windows capables d'IA, et le DGX Spark, une station de travail IA compacte avec jusqu'à 128 Go de mémoire partagée. Il fonctionne également sur les PC GeForce RTX, DGX Station et stations RTX PRO, et prend en charge llama.cpp, Ollama, LM Studio et vLLM.

Même avec une compression poussée, 24 Go représentent un seuil élevé. Seul du matériel haut de gamme coûteux offre autant de mémoire, et aux prix actuels des GPU, la plupart des consommateurs ne peuvent justifier cette dépense. Pour l'instant, l'agent local s'adresse aux développeurs et aux propriétaires de stations de travail puissantes.

Pour les appareils plus modestes, Nvidia prévoit Bolt E4B 4GB, qui n'est pas encore disponible. Il est conçu pour fonctionner sur les cartes GeForce RTX, les modules Jetson et RTX/DGX Spark, pour alimenter des assistants vocaux, des personnages interactifs ou des interfaces d'appareils. Le modèle est censé tenir des conversations naturelles tout en utilisant des outils sur plusieurs tours et en restant conscient de ce qui se passe dans l'application en cours.

Les premiers adoptants couvrent la finance et la cybersécurité

Des dizaines d'organisations fine-tunent déjà Super VL pour leurs propres besoins, selon Nvidia, principalement dans des secteurs avec de lourdes charges de documents et des données sensibles. Scale AI a adapté le modèle pour un agent qui gère les crédits fournisseurs chez la société de médias Skydance, avec des coûts attendus divisés par quarante et un temps de réponse divisé par cinq. Ramp utilise le modèle pour transformer des photos de reçus en données structurées et attend des réponses dix fois plus rapides. EY l'utilise pour la due diligence d'acquisition, et Hebbia pour l'analyse d'accords de crédit.

Une deuxième vague d'adoptants vient de la cybersécurité. AI21 a fine-tuné Super VL pour la société de sécurité Alice, qui l'utilise pour analyser les menaces et les vulnérabilités, avec une précision améliorée de 40 pour cent selon Nvidia. Dream utilise le modèle pour chasser les vulnérabilités, et CrowdStrike construit des agents pour défendre les réseaux d'entreprise. Salesforce prévoit d'automatiser les flux de travail gouvernementaux, R1 audite la facturation médicale, et Perplexity, Dassault Systèmes et Mercor utilisent également le modèle.

Nvidia publie des jeux de données et des recettes d'entraînement

Nvidia publie les poids dans une version de base, une version post-entraînée et une version compressée en 4 bits, ainsi que les jeux de données et recettes d'entraînement et les environnements d'apprentissage par renforcement. Cela rend Super VL plus ouvert que de nombreux modèles à poids ouverts, qui ne partagent généralement que les poids.

Selon Nvidia, le modèle a été entraîné sur plus de 25 trillions de tokens lors du pré-entraînement et du pré-entraînement continu, le post-entraînement et l'apprentissage par renforcement ajoutant environ quatre millions d'exemples répartis sur environ 100 environnements d'entraînement ouverts.

Sur Hugging Face, Nvidia publie également plusieurs jeux de données que d'autres développeurs peuvent utiliser pour entraîner ou affiner leurs propres modèles. Ils couvrent la manière dont les agents utilisent des outils, suivent des instructions, traitent de longs textes et comprennent des images, tandis que d'autres jeux de données concernent la finance, la sécurité et l'équité.

Un jeu de données cible les langues parlées en Inde. Nvidia l'a construit avec l'Indian Institute of Technology Madras et son laboratoire d'IA AI4Bharat, et il contient environ 2.83 trillions de tokens de texte en 22 langues indiennes.

Les modèles ouverts vendent le matériel Nvidia

Super VL fonctionne sur des systèmes de bureau comme DGX Spark, DGX Station, RTX PRO et RTX, sur des modules Jetson dans les appareils en périphérie, ainsi que dans les centres de données et le cloud. Via Nvidia NIM, les entreprises obtiennent le modèle sous forme de microservice prêt à déployer avec des configurations validées et un support, avec des mises à jour prévues toutes les deux semaines. Les poids sont disponibles sur Hugging Face pour Nemotron 3.5 Super VL 120B-A12B et Nemotron 3.5 Bolt 74B-A9B 24GB.

Nvidia publie les modèles en open source mais les optimise pour ses propres produits, des serveurs de centres de données aux stations de travail. Quiconque veut tirer le meilleur parti de Nemotron finit par acheter du matériel Nvidia.

La stratégie derrière les modèles ouverts de Nvidia est intéressée. Plus les entreprises exécutent leurs propres modèles ouverts, plus la demande en matériel de calcul est grande, et les modèles ouverts resteront probablement optimisés pour Nvidia dans un avenir prévisible. Pendant ce temps, des entreprises comme Meta, Google, Anthropic et OpenAI construisent leurs propres puces et optimisent leurs modèles pour celles-ci. Pour pousser davantage la diffusion des modèles d'IA ouverts, Nvidia a récemment investi 12.9 milliards de dollars dans Hugging Face, l'une des plateformes les plus importantes pour leur développement et leur partage.

L'actualité de l'IA sans le battage – Curée par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicité, une newsletter hebdomadaire sur l'IA, notre rapport exclusif « AI Radar » sur la frontière de l'IA six fois par an, un accès complet aux archives et l'accès à notre section de commentaires.