关键要点
- Nvidia 发布了 Nemotron 3.5 Super VL，这是一个拥有 1200 亿参数的开放多模态模型，专为企业环境中的智能体任务和文档分析而设计。
- 两种较小的 Bolt 变体适用于本地机器：一种针对内存为 24 GB 或以上的系统而设计的高度压缩模型，另一种则是针对语音助手推出的 4 GB 版本。
- Nvidia 在发布模型权重的同时，还发布数据集和训练方案，但为了促进芯片及系统销售，它针对自身硬件对所有内容进行了优化。
Nvidia 已发布 Nemotron 3.5 Super VL，这是一个拥有 1200 亿参数的开放多模态模型，专为企业代理设计。同时还有两个紧凑型的 Bolt 模型即将推出，这些模型旨在将 AI 代理引入本地 PC 和边缘设备。
Nvidia 开发了 Nemotron 3.5 Super VL，这是一种专门用于代理程序，这些代理会持续在后台运行，用于处理文本、图像、文档和视频。
正如该公司在技术博客文章中说明的那样，它采用了专家混合架构，其中每个令牌只有 1200 亿个参数中的 120 亿个处于活动状态。Nvidia 与 Nemotron Coalition共同开发了该模型，该联盟由 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs 组成。
两种较小的本地硬件型号同时开始销售。Nemotron 3.5 Bolt 74B-A9B 24GB能够运行代理任务于本地机器上，而较小的Bolt E4B 4GB则适用于快速语音助手，将于本月晚些时候推出。Nvidia称，这两种型号都具备“每千兆字节内存最高的智能水平”。
Super VL和Bolt加入了现有的Nemotron产品系列。 《闪电》于八月发行，旨在实现高吞吐量，同时 超极 应对复杂的推理任务。每种版本都针对 Nvidia 硬件进行了优化。
Nvidia 声称其最大型号的精度仅为小号版本的五分之一
Nvidia 从 Nemotron 3 Ultra 中提炼出了 Super VL，后者是 Nvidia 最大的推理模型。在智能体遵循指令、调用工具、处理多步骤业务流程或分析图像等任务中，Super VL 的准确率与 Ultra 相当，但参数数量仅约为 Ultra 的五分之一。根据 Nvidia 的说法，在 Hermes 和 LangChain 进行的智能体测试中，Super VL 的实际得分甚至高于 Ultra；在 SWE-bench 和 Terminal-Bench 编码基准测试中，它也优于其前身 Nemotron 3 Super。
根据 Nvidia 援引人工分析领域的排名数据，Super VL 在代理任务上，在单个 GPU 上提供的吞吐量是其他类似规模的开源模型的五倍。EXO Labs 在 DGX Spark 上的独立测试中，没有其他模型既准确又快速。当代理需要在几天或几周的时间内处理大量任务时，这种速度优势就变得非常重要了。
与封闭式边缘模型相比，Nvidia 向那些希望使用自身数据对模型进行微调，并能在自己的服务器上运行该模型、不受提供方服务条款约束的公司推荐 Super VL。Nvidia 表示，这适合那些持续筛选索赔欺诈行为的保险公司，也适合那些依据自身标准评估信用度的金融服务公司。为了实现定制化，该公司提供 NeMo 框架、Python 管道以及开放数据集。
压缩和缓存可减少计算开销
Nvidia 使用 4 位 NVFP4 格式对 Super VL 进行压缩。在 Blackwell GPU 上，该模型完全以 4 位精度运行；而旧款显卡则只将权重存储在 4 位中，数学运算则使用 16 位。模型的敏感部分保持更高的精度。为了避免质量下降，Nvidia 对压缩版本进行了训练，使其输出与未压缩的原始版本一致。
内置草稿组件会提前提出多个词元，主模型会在一次正向处理中对其进行验证。在 DGX Spark 上，Nvidia 建议使用自己的 LiLiCorr 方法，该方法会将所有草稿词元一起进行评估，从而得到更连贯的输出结果。Nvidia 表示，与不使用推测性草稿的情况相比，这种方式可让文本生成速度提高 2.3 倍。
代理在每次请求时都会发送相同的指令、工具描述以及对话历史记录，因此 Super VL 会缓存这些重复计算的内容，而不需要每次重新执行。Nvidia 的推理软件 Dynamo 也会将同一会话的请求路由到已经持有该会话缓存的 GPU 上。在 16 台 B200 GPU 上，这使得 Super VL 能够同时服务八倍多的用户，且首次获取令牌的时间减少了 85%。
Super VL 能够解析表格、图表和 PDF 文件，无需单独의视觉模型
为了提升视觉能力，Nvidia专注于日常工作中遇到的各种材料代理场景，包括OCR、表格、图表、多页文档和视频。Super VL能够解析图表，并将其与同一文档中的其他表格关联起来，同时总结两者内容，而无需使用独立的图像模型。
根据 Nvidia 的数据，在 CharXiv 图表基准测试中，Super VL 的得分为 80.8%，而较旧的 Nemotron 3 Nano Omni 的得分为 63%。当该模型还能运行 Python 代码时，得分则上升至 84%。Nvidia 表示，在 OCRBench v2 排行榜上，它属于最佳开放模型之一。
当地代理仍要求昂贵的硬件设备
Bolt 74B-A9B 24GB是Super VL的简化版本，属于混合专家模型。在每一步中，仅有740亿个参数中的9个处于活跃状态。为了将其压缩到24 GB的内存中，Nvidia对权重采用了激进的2位量化方法。
根据 Nvidia 的说法，Bolt 可以处理日常本地任务，这些任务需要代理完成多个步骤、调用工具或进行网络搜索。用户可以让它编写和调试代码，或者帮助确定哪些电脑组件适合他们的系统。
该模型专为 Nvidia 的 RTX Spark 而优化，这是一款适用于具备人工智能功能的 Windows 笔记本电脑的新芯片；此外还有 DGX Spark，这是一款拥有高达 128 GB 共享内存的紧凑型人工智能工作站。该模型也可在 GeForce RTX PC、DGX Station 和 RTX PRO 工作站上运行，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。
即使进行高强度的压缩，24 GB仍是一个很高的要求。只有价格昂贵的高端硬件才能提供如此多的内存，而按照当前的GPU价格来看，大多数消费者无法承受这个成本。目前，该产品主要面向开发者和强大的工作站拥有者。
对于性能较弱的设备，Nvidia 计划推出 Bolt E4B 4GB 型号，但目前尚未正式发布。该产品旨在在 GeForce RTX 显卡、Jetson 模块以及 RTX/DGX Spark 设备上运行，可用于支持语音助手、交互式角色或设备界面。该型号能够进行自然对话，同时支持多轮工具使用，并能实时了解当前应用程序中的情况。
早期的采用者涵盖金融和网络安全领域
Nvidia表示，数十个组织正在根据自身需求对Super VL进行优化调整，主要应用于需要处理大量文档和敏感数据的行业。Scale AI将该模型用于媒体公司Skydance的代理系统，以处理供应商信用相关事务，预计成本将降低至原来的四分之一，响应时间则降至原来的五分之一。Ramp则利用该模型将收据照片转化为结构化数据，并期望响应速度提升十倍。 EY 将其用于收购尽职调查，Hebbia 则用于分析信贷协议。
另一批采用者来自网络安全领域。AI21对Super VL模型进行了优化，该模型被安全公司Alice用于分析威胁和漏洞，据Nvidia称，其准确性提高了40%。Dream利用该模型寻找漏洞，CrowdStrike则正在开发代理程序以保护企业网络。Salesforce计划实现政府工作流程的自动化，R1正在对医疗账单进行审计，Perplexity、Dassault Systèmes和Mercor也正在使用该模型。
Nvidia 发布数据集和训练方案
Nvidia 正在发布基础版本、后训练版本和 4 位压缩版本의权重，同时提供数据集与训练方案以及强化学习环境。这使得 Super VL 比许多开放权重模型更加开放，后者通常仅共享权重而已。
Nvidia表示，该模型在预训练阶段使用了超过25万亿个标记，并且持续进行预训练。在预训练和强化学习阶段，大约100种开放训练环境中又增加了约四百万个示例。
在 Hugging Face 上，Nvidia 还发布了多个数据集，其他开发者可以这些数据集来训练或微调自己的模型。这些数据集涵盖了智能体如何使用工具、遵循指令、处理长文本以及理解图像，而其他数据集则涉及金融、安全与公平性相关的内容。
一个数据集针对在印度使用的语言。Nvidia 与马德拉斯印度理工学院及其 AI4Bharat AI 实验室共同构建了该数据集，其中包含 2.83 万亿个标记的文本，涵盖 22 种印度语言。
开放模型出售 Nvidia 硬件
Super VL 可在 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统上运行，也可在边缘设备中的 Jetson 模块以及数据中心和云环境中使用。通过 Nvidia NIM，企业可以获取一个已准备好的微服务模型，该模型包含经过验证的配置和支持服务，且每两周会进行更新。在 Hugging Face 上可以获取 Nemotron 3.5 Super VL 120B-A12B 和 Nemotron 3.5 Bolt 74B-A9B 24GB 版本的重量信息。
Nvidia 公开了这些模型，但针对其自身产品进行了调整，从数据中心服务器到工作站都适用。任何希望充分利用 Nemotron 的人最终都会购买 Nvidia 的硬件。
The 英伟达开放模型背后的策略 是自我驱动的。越来越多的公司采用自己的开放模型，这导致对计算硬件的需求增加，而开放模型在未来一段时间内很可能仍为 Nvidia 优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在开发自己的芯片，并为这些芯片优化模型。为了进一步推广开放 AI 模型， Nvidia 最近向 Hugging Face 投资了 129 亿美元这是开发和分享它们最重要的平台之一。
来源：Nvidia | 技术博客