輝達釋出了 Nemotron 3.5 Super VL,這是一款 1200 億引數的開源多模態模型,定位是企業環境中持續執行、處理文本、影像、文件與影片的專用智慧體。與它一同亮相的還有兩款面向本地 PC 與邊緣裝置的精簡版 Bolt 模型。

從架構看,Super VL 採用混合專家(MoE)設計,1200 億引數中每個 token 僅啟用約 120 億。輝達在一篇技術部落格中介紹了這一設計。該模型由 Nemotron Coalition 合作開發,成員包括 Mistral AI、Thinking Machines Lab、Perplexity 與 Black Forest Labs。

兩款本地模型同步推出:Nemotron 3.5 Bolt 74B-A9B 24GB 可在本地機器上執行智慧體任務;更小的 Bolt E4B 4GB 面向快速語音助手,將於本月晚些時候跟進。輝達稱兩者都具備「每 GB 記憶體最高的智慧水平」。

Super VL 與 Bolt 加入現有 Nemotron 產品線。此前 8 月釋出的 Lightning 主打高吞吐,Ultra 則負責高難度推理任務。所有變體都針對輝達硬體做了最佳化。在 Artificial Analysis 綜合排名中,Super VL 與領先的閉源模型仍有較大差距,但已超過輝達自家的 Nemotron 3 Ultra。

輝達稱,Super VL 是從其最大的推理模型 Nemotron 3 Ultra 蒸餾而來。在智慧體遵循指令、呼叫工具、處理多步業務流程或分析影像等任務上,Super VL 據稱能以約五分之一的引數規模達到 Ultra 的準確率。在 Hermes 與 LangChain 的智慧體測試中,輝達表示其得分高於 Ultra,並在編碼基準 SWE-bench 與 Terminal-Bench 上超過前代 Nemotron 3 Super。

在編碼基準上,Super VL 的準確率略低於競爭對手,但輝達稱其完成任務的速度是後者的四倍。輝達援引 Artificial Analysis 榜單稱,在單張 GPU 上,Super VL 在智慧體任務中的吞吐量可達同類規模開源模型的五倍。EXO Labs 在 DGX Spark 上的獨立測試顯示,沒有其他模型能同時做到更準和更快。這一速度優勢在智慧體需要連續數天或數週處理大量任務時尤為明顯。輝達稱,在相近的 Intelligence Index 得分下,Super VL 每秒生成的 token 數可達同類開源模型的五倍。

面對閉源前沿模型,輝達把 Super VL 推銷給希望用自有資料微調、並在自有伺服器上執行、不受服務商條款約束的企業。輝達舉例說,這可能吸引持續篩查理賠欺詐的保險公司,或按自有標準評估信用度的金融服務公司。為便於定製,輝達提供 NeMo 框架、Python 流水線以及開放資料集。

在壓縮與快取方面,輝達用 4-bit NVFP4 格式壓縮 Super VL。在 Blackwell GPU 上,模型完全以 4 位精度執行;較老的顯示卡僅以 4 位儲存權重,計算仍用 16 位。模型中敏感部分保留更高精度。為避免質量損失,輝達訓練壓縮版本去匹配未壓縮原版的輸出。

藉助輝達的推理軟體 Dynamo,輝達稱 Super VL 可同時服務八倍的使用者,並將首 token 時間縮短 85%。模型內建的草稿元件會提前提出若干 token,再由主模型在一次前向傳播中驗證。在 DGX Spark 上,輝達建議改用其 LiLiCorr 方法,將所有草稿 token 一起評估以獲得更連貫的輸出。輝達稱,相比不使用推測性草稿,這一方法可將文本生成速度提升最高 2.3 倍。由於智慧體每次請求都會發送相同的指令、工具描述與對話歷史,Super VL 會快取這些重複部分的計算,而不是每次重跑。Dynamo 還會把同一會話的請求路由到已持有該會話快取的 GPU。在 16 張 B200 GPU 上,這讓 Super VL 可同時服務八倍併發使用者,首 token 時間下降 85%。

視覺能力上,輝達聚焦智慧體日常工作中遇到的素材,包括 OCR、表格、圖表、多頁文件與影片。Super VL 能解讀圖表、將其與同一文件中別處的表格關聯,並同時總結兩者,無需單獨的影像模型。輝達稱,在圖表基準 CharXiv 上 Super VL 得分為 80.8%,而較早的 Nemotron 3 Nano Omni 為 63%。當模型還能執行 Python 程式碼時,得分升至 84%。在 OCRBench v2 榜單上,它位列最佳開源模型之列。

整體來看,輝達這套組合的看點在於:以開源權重與訓練配方降低企業自建智慧體的門檻,同時把效能優勢與自家 GPU、DGX Spark 及推理軟體深度繫結。對希望掌控資料與部署環境的企業而言,這提供了閉源 API 之外的選項;但要把效能發揮到極致,仍意味著採購輝達硬體。