英伟达发布了 Nemotron 3.5 Super VL,这是一款 1200 亿参数的开源多模态模型,定位是企业环境中持续运行、处理文本、图像、文档与视频的专用智能体。与它一同亮相的还有两款面向本地 PC 与边缘设备的精简版 Bolt 模型。
从架构看,Super VL 采用混合专家(MoE)设计,1200 亿参数中每个 token 仅激活约 120 亿。英伟达在一篇技术博客中介绍了这一设计。该模型由 Nemotron Coalition 合作开发,成员包括 Mistral AI、Thinking Machines Lab、Perplexity 与 Black Forest Labs。
两款本地模型同步推出:Nemotron 3.5 Bolt 74B-A9B 24GB 可在本地机器上执行智能体任务;更小的 Bolt E4B 4GB 面向快速语音助手,将于本月晚些时候跟进。英伟达称两者都具备「每 GB 内存最高的智能水平」。
Super VL 与 Bolt 加入现有 Nemotron 产品线。此前 8 月发布的 Lightning 主打高吞吐,Ultra 则负责高难度推理任务。所有变体都针对英伟达硬件做了优化。在 Artificial Analysis 综合排名中,Super VL 与领先的闭源模型仍有较大差距,但已超过英伟达自家的 Nemotron 3 Ultra。
英伟达称,Super VL 是从其最大的推理模型 Nemotron 3 Ultra 蒸馏而来。在智能体遵循指令、调用工具、处理多步业务流程或分析图像等任务上,Super VL 据称能以约五分之一的参数规模达到 Ultra 的准确率。在 Hermes 与 LangChain 的智能体测试中,英伟达表示其得分高于 Ultra,并在编码基准 SWE-bench 与 Terminal-Bench 上超过前代 Nemotron 3 Super。
在编码基准上,Super VL 的准确率略低于竞争对手,但英伟达称其完成任务的速度是后者的四倍。英伟达援引 Artificial Analysis 榜单称,在单张 GPU 上,Super VL 在智能体任务中的吞吐量可达同类规模开源模型的五倍。EXO Labs 在 DGX Spark 上的独立测试显示,没有其他模型能同时做到更准和更快。这一速度优势在智能体需要连续数天或数周处理大量任务时尤为明显。英伟达称,在相近的 Intelligence Index 得分下,Super VL 每秒生成的 token 数可达同类开源模型的五倍。
面对闭源前沿模型,英伟达把 Super VL 推销给希望用自有数据微调、并在自有服务器上运行、不受服务商条款约束的企业。英伟达举例说,这可能吸引持续筛查理赔欺诈的保险公司,或按自有标准评估信用度的金融服务公司。为便于定制,英伟达提供 NeMo 框架、Python 流水线以及开放数据集。
在压缩与缓存方面,英伟达用 4-bit NVFP4 格式压缩 Super VL。在 Blackwell GPU 上,模型完全以 4 位精度运行;较老的显卡仅以 4 位存储权重,计算仍用 16 位。模型中敏感部分保留更高精度。为避免质量损失,英伟达训练压缩版本去匹配未压缩原版的输出。
借助英伟达的推理软件 Dynamo,英伟达称 Super VL 可同时服务八倍的用户,并将首 token 时间缩短 85%。模型内置的草稿组件会提前提出若干 token,再由主模型在一次前向传播中验证。在 DGX Spark 上,英伟达建议改用其 LiLiCorr 方法,将所有草稿 token 一起评估以获得更连贯的输出。英伟达称,相比不使用推测性草稿,这一方法可将文本生成速度提升最高 2.3 倍。由于智能体每次请求都会发送相同的指令、工具描述与对话历史,Super VL 会缓存这些重复部分的计算,而不是每次重跑。Dynamo 还会把同一会话的请求路由到已持有该会话缓存的 GPU。在 16 张 B200 GPU 上,这让 Super VL 可同时服务八倍并发用户,首 token 时间下降 85%。
视觉能力上,英伟达聚焦智能体日常工作中遇到的素材,包括 OCR、表格、图表、多页文档与视频。Super VL 能解读图表、将其与同一文档中别处的表格关联,并同时总结两者,无需单独的图像模型。英伟达称,在图表基准 CharXiv 上 Super VL 得分为 80.8%,而较早的 Nemotron 3 Nano Omni 为 63%。当模型还能运行 Python 代码时,得分升至 84%。在 OCRBench v2 榜单上,它位列最佳开源模型之列。
整体来看,英伟达这套组合的看点在于:以开源权重与训练配方降低企业自建智能体的门槛,同时把性能优势与自家 GPU、DGX Spark 及推理软件深度绑定。对希望掌控数据与部署环境的企业而言,这提供了闭源 API 之外的选项;但要把性能发挥到极致,仍意味着采购英伟达硬件。