Nvidias Nemotron 3.5 Super VL ist ein offenes Modell, das Enterprise-KI-Agenten rund um die Uhr antreiben soll

Nvidias Nemotron 3.5 Super VL ist ein offenes Modell, das Enterprise-KI-Agenten rund um die Uhr antreiben soll

Kernpunkte

• Nvidia hat Nemotron 3.5 Super VL veröffentlicht, ein offenes multimodales Modell mit 120 Milliarden Parametern, das für Agentenaufgaben und Dokumentanalyse in Unternehmen gebaut wurde.
• Zwei kleinere Bolt-Varianten zielen auf lokale Maschinen ab: ein stark komprimiertes Modell für Systeme mit 24 GB Arbeitsspeicher oder mehr und eine spätere 4-GB-Version für Sprachassistenten.
• Nvidia veröffentlicht Datensätze und Trainingsrezepte zusammen mit den Modellgewichten, optimiert aber alles für seine eigene Hardware, um Chip- und Systemverkäufe anzukurbeln.

Nvidia hat Nemotron 3.5 Super VL veröffentlicht, ein offenes multimodales Modell mit 120 Milliarden Parametern, das für Enterprise-Agenten gebaut wurde. Nebenher starten zwei kompakte Bolt-Modelle, die KI-Agenten auf lokale PCs und Edge-Geräte bringen sollen.

Nvidia hat Nemotron 3.5 Super VL für spezialisierte Agenten gebaut, die dauerhaft im Hintergrund laufen und Texte, Bilder, Dokumente und Videos verarbeiten.

Wie das Unternehmen in einem technischen Blogbeitragerklärt, verwendet es eine Mixture-of-Experts-Architektur, bei der nur 12 Milliarden der 120 Milliarden Parameter pro Token aktiv sind. Nvidia entwickelte das Modell mit der Nemotron Coalition, einer Gruppe, der Mistral AI, Thinking Machines Lab, Perplexity und Black Forest Labs angehören.

Zwei kleinere Modelle für lokale Hardware erscheinen gleichzeitig. Nemotron 3.5 Bolt 74B-A9B 24GB erledigt Agentenaufgaben auf lokalen Maschinen, während das kleinere Bolt E4B 4GB auf schnelle Sprachassistenten abzielt und später in diesem Monat folgen wird. Beide Modelle bieten laut Nvidia die "höchste Intelligenz pro Gigabyte Arbeitsspeicher".Werbung

Super VL und Bolt ergänzen die bestehende Nemotron-Reihe. Lightning, im August veröffentlicht, ist für hohen Durchsatz gebaut, während Ultra schwierige Reasoning-Aufgaben angeht. Jede Variante ist für Nvidia-Hardware optimiert.

Nvidia behauptet die Genauigkeit seines größten Modells bei einem Fünftel der Größe

Nvidia hat Super VL von Nemotron 3 Ultra, seinem größten Reasoning-Modell, destilliert. Bei Aufgaben, bei denen ein Agent Anweisungen befolgt, Tools aufruft, mehrstufige Geschäftsprozesse durchläuft oder Bilder analysiert, soll Super VL mit nur etwa einem Fünftel der Parameter die Genauigkeit von Ultra erreichen. In Agententests von Hermes und LangChain erzielt es laut Nvidia tatsächlich höhere Werte als Ultra, und es schlägt auch seinen Vorgänger Nemotron 3 Super bei den Coding-Benchmarks SWE-bench und Terminal-Bench.

Auf einer einzelnen GPU liefert Super VL laut Nvidia, unter Verweis auf das Artificial Analysis-Leaderboard, bei Agentenaufgaben bis zu das Fünffache des Durchsatzes anderer offener Modelle ähnlicher Größe. In einem unabhängigen Test von EXO Labs auf dem DGX Spark war kein anderes Modell gleichzeitig genauer und schneller. Dieser Geschwindigkeitsvorteil zahlt sich aus, wenn Agenten über Tage oder Wochen große Aufgabenmengen abarbeiten müssen.

Gegenüber geschlossenen Frontier-Modellen richtet sich Super VL an Unternehmen, die mit ihren eigenen Daten feintunen und das Modell auf ihren eigenen Servern betreiben möchten, frei von den Nutzungsbedingungen eines Anbieters. Das könnte laut Nvidia beispielsweise eine Versicherung ansprechen, die laufend Ansprüche auf Betrug prüft, oder ein Finanzdienstleister, der die Kreditwürdigkeit nach eigenen Kriterien bewertet. Zur Anpassung stellt das Unternehmen sein NeMo-Framework, Python-Pipelines und offene Datensätze bereit.Werbung

Komprimierung und Caching senken den Rechenaufwand

Nvidia komprimiert Super VL mit seinem 4-Bit-Format NVFP4. Auf Blackwell-GPUs läuft das Modell vollständig in 4-Bit-Präzision, während ältere Karten nur die Gewichte mit 4 Bits speichern und die Berechnungen mit 16 Bits durchführen. Sensible Teile des Modells behalten eine höhere Präzision. Um Qualitätsverluste zu verhindern, trainierte Nvidia die komprimierte Version so, dass sie den Ausgaben des unkomprimierten Originals entspricht.

Eine eingebaute Draft-Komponente schlägt mehrere Token im Voraus vor, die das Hauptmodell dann in einem einzigen Forward-Pass verifiziert. Auf dem DGX Spark empfiehlt Nvidia stattdessen seine eigene LiLiCorr-Methode, die alle Draft-Token gemeinsam auswertet, um eine kohärentere Ausgabe zu erzielen. Laut Nvidia beschleunigt dieser Ansatz die Textgenerierung um bis zu 2.3x im Vergleich zum Betrieb ohne speculative Drafts.

Agenten senden bei jeder Anfrage dieselben Anweisungen, Tool-Beschreibungen und den Konversationsverlauf, sodass Super VL die Berechnungen für diese wiederkehrenden Teile zwischenspeichert, anstatt sie jedes Mal neu auszuführen. Nvidias Inferenz-Software Dynamo leitet Anfragen derselben Sitzung zudem an die GPU weiter, die den Cache dieser Sitzung bereits hält. Auf 16 B200-GPUs kann Super VL dadurch achtmal so viele gleichzeitige Nutzer bedienen, und die Zeit bis zum ersten Token sinkt um 85 Prozent.

Super VL parst Tabellen, Diagramme und PDFs ohne separates Vision-Modell

Für Vision konzentrierte sich Nvidia auf die Art von Material, auf das Agenten in der täglichen Arbeit stoßen, darunter OCR, Tabellen, Diagramme, mehrseitige Dokumente und Videos. Super VL kann ein Diagramm interpretieren, es mit einer Tabelle an anderer Stelle im selben Dokument verknüpfen und beides zusammenfassen, ohne dass ein separates Bildmodell benötigt wird.

Beim Diagramm-Benchmark CharXiv erreicht Super VL laut Nvidia 80.8 Prozent, während das ältere Nemotron 3 Nano Omni 63 Prozent erzielte. Wenn das Modell zusätzlich Python-Code ausführen kann, steigt der Wert auf 84 Prozent. Auf der OCRBench v2-Rangliste gehört es laut Nvidia zu den besten offenen Modellen.

Lokale Agenten verlangen weiterhin teure Hardware

Bolt 74B-A9B 24GB ist eine abgespeckte Version von Super VL, die als hybrides Mixture-of-Experts-Modell aufgebaut ist, bei dem nur 9 der 74 Milliarden Parameter pro Schritt aktiv sind. Um es in 24 GB Speicher zu pressen, wendet Nvidia eine aggressive 2-Bit-Quantisierung auf die Gewichte an.

Bolt bewältigt alltägliche lokale Aufgaben, bei denen ein Agent mehrere Schritte durchführen, Tools aufrufen oder das Web durchsuchen muss. Nutzer können es laut Nvidia Code schreiben und debuggen lassen oder herausfinden lassen, welche PC-Komponenten zu ihrem System passen.

Das Modell ist optimiert für Nvidias RTX Spark, einen neuen Chip für KI-fähige Windows-Laptops, sowie für den DGX Spark, eine kompakte KI-Workstation mit bis zu 128 GB gemeinsamem Speicher. Es läuft auch auf GeForce-RTX-PCs, DGX Station und RTX-PRO-Workstations und unterstützt llama.cpp, Ollama, LM Studio und vLLM.

Selbst mit starker Komprimierung sind 24 GB eine hohe Hürde. Nur teure High-End-Hardware bietet so viel Speicher, und bei den aktuellen GPU-Preisen können sich die meisten Verbraucher die Kosten nicht rechtfertigen. Vorläufig richtet sich der lokale Agent an Entwickler und Besitzer leistungsstarker Workstations.

Für schwächere Geräte hat Nvidia Bolt E4B 4GB geplant, das jedoch noch nicht ausgeliefert wurde. Es soll auf GeForce-RTX-Karten, Jetson-Modulen und RTX/DGX Spark laufen und Sprachassistenten, interaktive Charaktere oder Geräteschnittstellen antreiben. Das Modell soll natürliche Gespräche führen, dabei über mehrere Runden hinweg Tools nutzen und wissen, was in der aktuellen App geschieht.

Frühzeitige Nutzer stammen aus Finanzwesen und Cybersicherheit

Dutzende Organisationen feintunen Super VL bereits für ihre eigenen Bedürfnisse, sagt Nvidia, vor allem in Branchen mit hohen Dokumentenlasten und sensiblen Daten. Scale AI passte das Modell für einen Agenten an, der bei dem Medienunternehmen Skydance Lieferanten-Gutschriften bearbeitet; die Kosten sollen auf ein Vierzigstel und die Antwortzeit auf ein Fünftel sinken. Ramp nutzt das Modell, um Fotos von Belegen in strukturierte Daten umzuwandeln, und erwartet zehnmal schnellere Antworten. EY setzt es für Due-Diligence-Prüfungen bei Übernahmen ein, Hebbia zur Analyse von Kreditverträgen.

Eine zweite Welle von Nutzern kommt aus der Cybersicherheit. AI21 hat Super VL für das Sicherheitsunternehmen Alice feingetunt, das es zur Analyse von Bedrohungen und Schwachstellen einsetzt; laut Nvidia verbesserte sich die Genauigkeit um 40 Prozent. Dream nutzt das Modell zur Suche nach Schwachstellen, und CrowdStrike baut Agenten zum Schutz von Unternehmensnetzwerken. Salesforce plant die Automatisierung von Behörden-Workflows, R1 prüft medizinische Abrechnungen, und auch Perplexity, Dassault Systèmes und Mercor nutzen das Modell.

Nvidia veröffentlicht Datensätze und Trainingsrezepte

Nvidia veröffentlicht die Gewichte in einer Basisversion, einer nachtrainierten Version und einer 4-Bit-komprimierten Version, zusammen mit den Datensätzen und Trainingsrezepten und Reinforcement-Learning-Umgebungen. Damit ist Super VL offener als viele Open-Weight-Modelle, die typischerweise nur die Gewichte teilen.

Das Modell wurde laut Nvidia während des Pre-Trainings und des Continued Pre-Trainings mit über 25 Billionen Token trainiert, wobei Post-Training und Reinforcement Learning etwa vier Millionen Beispiele über rund 100 offene Trainingsumgebungen hinzufügten.

Auf Hugging Face veröffentlicht Nvidia außerdem mehrere Datensätze, die andere Entwickler zum Training oder Fine-Tuning ihrer eigenen Modelle verwenden können. Sie behandeln, wie Agenten Werkzeuge nutzen, Anweisungen folgen, lange Texte verarbeiten und Bilder verstehen, während sich andere Datensätze mit Finanzen, Sicherheit und Fairness befassen.

Ein Datensatz richtet sich an Sprachen, die in Indien gesprochen werden. Nvidia hat ihn zusammen mit dem Indian Institute of Technology Madras und dessen KI-Labor AI4Bharat aufgebaut, und er enthält etwa 2,83 Billionen Token an Text in 22 indischen Sprachen.

Offene Modelle verkaufen Nvidia-Hardware

Super VL läuft auf Desktop-Systemen wie DGX Spark, DGX Station, RTX PRO und RTX, auf Jetson-Modulen in Edge-Geräten sowie in Rechenzentren und in der Cloud. Über Nvidia NIM erhalten Unternehmen das Modell als einsatzbereiten Microservice mit validierten Konfigurationen und Support, wobei Updates alle zwei Wochen geplant sind. Die Gewichte sind auf Hugging Face verfügbar für Nemotron 3.5 Super VL 120B-A12B und Nemotron 3.5 Bolt 74B-A9B 24GB.

Nvidia veröffentlicht die Modelle offen, stimmt sie aber auf die eigenen Produkte ab, von Rechenzentrumsservern bis hin zu Workstations. Wer das Beste aus Nemotron herausholen will, kauft am Ende Nvidia-Hardware.

Die Strategie hinter Nvidias offenen Modellen ist eigennützig. Je mehr Unternehmen ihre eigenen offenen Modelle betreiben, desto größer ist die Nachfrage nach Compute-Hardware, und offene Modelle werden voraussichtlich auch in absehbarer Zukunft für Nvidia optimiert bleiben. Derweil bauen Unternehmen wie Meta, Google, Anthropic und OpenAI ihre eigenen Chips und optimieren ihre Modelle stattdessen für diese. Um die Verbreitung offener KI-Modelle weiter voranzutreiben, hat Nvidia kürzlich 12,9 Milliarden Dollar in Hugging Face investiert, eine der wichtigsten Plattformen für deren Entwicklung und Austausch.

AI News Without the Hype – Curated by Humans

Abonniert THE DECODER für werbefreies Lesen, einen wöchentlichen KI-Newsletter, unseren exklusiven „AI Radar“-Frontier-Report sechsmal im Jahr, vollen Archivzugang und Zugang zu unserem Kommentarbereich.