NVIDIA发布Nemotron 3.5 Super VL:120B开源多模态智能体模型

NVIDIA发布120B总参、12B激活的Nemotron 3.5 Super VL多模态MoE模型,单台DGX Spark可跑。
NVIDIA发布开源多模态MoE模型Nemotron 3.5 Super VL,总参数120B、推理仅激活12B,支持1M token上下文,权重采用NVFP4低精度格式,可在一台DGX Spark桌面设备上运行,显著降低部署门槛。其定位是多模态智能体模型,面向需要持续感知与规划的长流程任务;同时发布两款Bolt边缘模型,布局端侧智能体能力。文章在肯定其规格突破的同时提出冷静判断:12B激活在复杂多模态推理上的真实表现、NVFP4与非NVIDIA硬件的兼容性、以及1M上下文下的有效注意力质量与延迟表现,均需独立评测验证。
NVIDIA在开源模型赛道再度加码。据MarkTechPost报道,NVIDIA正式发布Nemotron 3.5 Super VL——一个总参数量达120B的开源多模态MoE模型,同时推出两款面向边缘场景的Bolt系列模型。这一动作延续了NVIDIA近期在开源权重与智能体(Agent)方向上的密集布局,也把"大参数+低激活+超长上下文+边缘可部署"这组看似矛盾的组合推到了台前。

核心规格:120B总量、12B激活与1M上下文
Nemotron 3.5 Super VL最受关注的,是它的架构与规格组合。
这是一个MoE(混合专家)模型,总参数量120B,但推理时仅有12B激活参数。这意味着它在保留大模型容量上限的同时,把实际计算开销压到接近中小型稠密模型的水平。对部署方而言,这直接决定了吞吐与成本的量级。
上下文长度达到1M token,属于当前开源多模态模型中相当激进的一档。长上下文对智能体任务尤为关键——多轮工具调用、长文档理解、跨文件代码分析,都需要模型在单次会话中维持大量状态。
权重格式方面,Nemotron 3.5 Super VL采用NVFP4。这是NVIDIA推动的低精度数值格式,目标是在几乎不损失精度的前提下大幅压缩显存占用和带宽需求。
单台DGX Spark即可运行
真正让这条发布具备传播度的细节是:NVFP4权重可在一台DGX Spark上运行。
DGX Spark是NVIDIA面向桌面级/个人AI开发场景的紧凑型设备。一个120B规模的模型能够跑在单台此类设备上,说明量化与稀疏激活的协同优化已经跨过了一个实际门槛。对于买不起多卡集群的研究者和中小团队,这是可操作性上的实质变化,而不只是参数表上的数字。
MoE(混合专家,Mixture of Experts) 是一种把单一稠密网络拆成多组"专家"子网络的稀疏架构。每个 token 在推理时只被路由到其中少数几个专家,其余专家不参与计算。因此模型的总参数量可以远大于单次前向传播真正动用的参数量。
这一点正是"120B 总量 / 12B 激活"组合的来源:总参数量决定模型的容量上限与知识存储规模,激活参数量(也叫激活参数)决定每次推理实际消耗的算力。二者分离后,模型可以获得接近 120B 稠密模型的能力上限,却只付出接近 12B 模型的算力成本。代价是对显存容量的需求仍按总量计——所有专家权重都必须驻留或被高效换入,因此 MoE 的瓶颈往往在显存而非算力。
NVFP4 是 NVIDIA 主推的一种 4 比特浮点数值格式,属于 FP4(4-bit floating point)家族的细分方案。相比 INT4 等整数量化格式,块浮点数可以在同一数据块内共享指数,从而在极低比特下仍保留一定的动态范围,减少量化带来的精度损失。
它的核心收益有两个:显存占用下降到 FP16 的大约四分之一,权重从显存搬到计算单元的带宽压力同步大幅缓解——对推理而言,后者往往比前者更关键,因为大模型解码阶段通常是访存瓶颈而非算力瓶颈。不过,低精度格式的性能高度依赖硬件是否原生支持相应的矩阵运算指令,这也是该格式与 NVIDIA GPU 深度绑定的原因。
DGX Spark 是 NVIDIA 推出的紧凑型桌面 AI 计算设备,面向个人开发者、研究者与小型团队,定位介于高端工作站与云端集群之间。它的意义不在于绝对算力,而在于把过去必须依赖多卡服务器才能装载的模型规模,压缩到一台可以摆在桌面上的机器。
一款 120B 规模的模型能被单台此类设备承载,靠的并非单一技术,而是几项优化的叠加:MoE 把激活算力压到 12B 量级,NVFP4 把权重显存压到 FP16 的四分之一左右,再加上针对长上下文的 KV Cache 管理。三者协同才让"参数表上的大模型"落到了"买得起的单机"这一层。对缺乏集群资源的中小团队,这类门槛下移往往比单纯的榜单分数更有实际价值。
多模态+智能体:定位而非堆料
从命名和规格看,Nemotron 3.5 Super VL的定位是"多模态智能体模型",而非通用聊天模型。
多模态能力意味着它可以处理图像等非文本输入,这是智能体在真实环境中操作的前提——读取屏幕、理解界面、解析图表都属于这一类。结合1M上下文与MoE的低激活成本,它更适合承担需要持续感知和规划的Agent工作流,而不是单轮问答。
NVIDIA选择开源权重,也有生态层面的考量。开源模型可以吸引开发者在其工具链和硬件上做适配与微调,反过来强化NVIDIA在推理侧的软硬件绑定。
Bolt边缘模型:把Agent推到端侧
与Super VL同时发布的还有两款Bolt边缘模型。
虽然官方披露的细节有限,但"边缘"这一标签本身传达了方向:把智能体能力下沉到本地设备,减少对云端推理的依赖。这与Super VL能在单台DGX Spark上运行形成呼应——NVIDIA在同时布局"桌面级大模型"和"端侧小模型"两个层级。
边缘模型的现实约束更严苛:功耗、内存、散热都是硬上限。Bolt系列能否在有限资源下保留可用的多模态与工具调用能力,是后续值得观察的重点。
几点冷静的判断
规格亮眼,但有几个问题目前没有答案。
第一,12B激活参数在复杂多模态推理任务上的实际表现,需要独立评测验证,参数量与能力之间从来不是线性关系。
第二,NVFP4权重在非NVIDIA硬件上的可用性。低精度格式往往与特定硬件强绑定,这可能影响开源社区的实际使用范围。
第三,1M上下文在长序列下的有效注意力质量,以及推理延迟是否随上下文线性恶化,都是工程落地的关键变量。
Nemotron 3.5 Super VL的价值,或许不在于单点指标刷新,而在于它把"大模型单机可跑"从一个口号推向了可验证的配置。开源权重已经放出,真正的检验在开发者的实测中。
评估此类模型时有几个常被混淆的指标值得单独说明。有效上下文指的是模型在长序列上仍能稳定利用远端信息的长度,它与"支持的最大上下文长度"并非同一概念——注意力机制在超长序列上普遍存在衰减,业界常用"大海捞针"式的检索测试来衡量真实可用区间。
首 token 延迟(TTFT)与解码吞吐也需要分开看:前者主要由预填充阶段决定,随输入长度显著增长;后者由逐 token 解码决定,通常更受显存带宽约束。1M 上下文下,预填充的计算量随长度增长很快,缓存复用与分块处理等工程手段会直接决定响应是否可用。因此"支持 1M"只是能力上限的声明,实际体验取决于延迟曲线,这也是独立评测最该关注的部分。
相关推荐

3分钟看懂DeepSeek:从量化私募到开源AI领跑者的崛起之路
3分钟看懂DeepSeek发展史:从幻方量化的算力积累,到V2的MLA推理降本、V3的557.6万美元训练账单、R1开源引爆全球,再到V4与70亿美元A轮融资,梳理深度求索的关键节点与技术路线。

本地文学创作模型PK:Qwen3.8 27B微调版胜出,DeepSeek v4.1表现平淡
B站UP主横向测评七款本地文学创作模型:海明威、HumanLike Chat基于Qwen3.8 27B微调表现最佳,DeepSeek v4.1叙事平淡,东方朔角色混乱垫底。附三道测试题评分与使用建议。

梁文锋的三次豪赌:DeepSeek为何将82%毛利开源?
DeepSeek为何把82%毛利的推理框架DeepInfer开源,又启动千亿融资?从技术路线、国产芯片到组织纯粹性,解析梁文锋的三次豪赌与开源战略背后的商业与理想逻辑。