NVIDIA Nemotron 3.5 Super VL：Mamba-MoE混合架构解析

多模态基础模型的竞争焦点正在从纯文本转向高密度视觉流。NVIDIA 近日在官方仓库中集成了 Nemotron 3.5 Super VL 120B A12B，一款总参数量约 120B、每 token 仅激活 12B 的视觉语言模型。它的核心突破在于把三种此前各自独立演进的技术拧成一股绳：以 Mamba 状态空间块替代纯注意力解码器、采用自研 RADIO 视觉编码器、并原生支持 Blackwell 架构下的 NVFP4 四位量化。

NVIDIA Nemotron 3.5 Super VL Mamba-MoE 架构总览

官方集成与工程落地

这次发布与以往不同之处在于，NVIDIA 同时把模型接入了自己的软件供应链，而不仅仅停留在论文层面。

据 NeMo AutoModel 仓库的 PR 3801 显示，该模型的多模态支持被统一整合，纳入了 512 个可路由专家、RADIO 视觉塔以及带归一化的投影层。Megatron-Bridge 则接收了预训练、SFT 与 PEFT 的完整配方，面向搭载 H100 与 GB200 的服务器。TensorRT-LLM 推理引擎新增连续视频输入与 NVFP4 压缩格式支持，在 Blackwell B200 上验证吞吐量超过 185 tokens/秒。LangChain 生态也拿到了正式连接器，模型标识为 nvidia/nemotron-3.5-super-vl-120b-a12b，工程团队可以直接把视频分析与视觉审计流水线接入企业工作流。

与封闭云方案不同，该模型面向私有云（VPC）和专业工作站部署，在数据主权与合规治理上给出更明确的路径。

解码器与视觉塔的微观结构

理解这款模型的效率，关键在于看它的混合解码器拓扑和视觉感知子系统。

Nemotron-H 解码器：Mamba SSM + 稀疏 MoE

在纯注意力 Transformer 中，处理视频帧和高分辨率图像会让 KV Cache 消耗急剧膨胀——每个视频帧拆解为数百个视觉 patch，很快就把显存吃满。

Nemotron 3.5 Super VL 采用 Nemotron-H 混合解码器绕开这一瓶颈：

Mamba 状态空间层：交错分布于网络中，对序列长度呈线性复杂度 O(N)。视觉与文本 token 作为连续状态流被处理，通过零阶保持（ZOH）公式离散化，滤除背景噪点并保持内存成本恒定。
512 专家 MoE 层：模型把表示能力拆成 512 条稀疏专家路径，推理时动态路由仅激活 22 个专家。也就是说，总参数 120B 中每步只有 12B 参与计算（A12B），换来低延迟与高领域专精化。
多 Token 预测（MTP）：继承共享权重基础设施提前发射多个 token，通过运行时推测性校验加速解码。

Mamba 状态空间模型（SSM） 是一类序列建模架构，源自经典控制论中的状态空间方程。与 Transformer 自注意力机制需要将每个 token 与序列中所有其他 token 计算相关性（复杂度 O(N²)）不同，Mamba 通过一个可学习的递归潜状态沿序列推进，每步只依赖前一时刻的状态，因而具备 O(N) 线性复杂度与恒定推理内存。其关键创新是「选择性扫描」：状态转移矩阵的参数由输入动态生成，使模型能像门控机制一样选择性地记住或遗忘信息。在视频这类超长序列中，Mamba 避免了 KV Cache 随帧数无限膨胀的问题，这正是 Nemotron 3.5 Super VL 能稳定摄入百万级 token 上下文的底层原因。

零阶保持（ZOH）离散化 是把连续时间状态空间方程转换为可计算离散递归的常用方法：假设输入在采样间隔内保持常量，据此推导出离散步的 A、B 矩阵。这一数学步骤让连续信号（如视频帧流）在离散 token 空间中被一致地建模，同时起到低通滤波作用，抑制高频噪声。

RADIO 视觉塔：动态分辨率与时间嵌入器

视觉输入端依赖 0.65B 参数的 RADIO 编码器，它针对传统视觉编码器的短板做了三处改进：

自适应多尺度分辨率：把大图切成智能 mosaic 而不破坏长宽比，保留技术图表中的小字体、票据上的微小文字与 GUI 界面中的几何细节。
专用视频时间嵌入器：不把视频当作孤立图像的序列，而是用时间嵌入分支编码帧间时序与转场速度，使目标运动与场景变化的追踪具备语义连续性。
带层归一化的投影层：RADIO 生成的视觉向量经全连接层加 LayerNorm 投射进 Nemotron-H 的嵌入空间，抑制长多模态流中的梯度爆炸。

RADIO（Reduced-bias Adaptive Dynamic-resolution Image-to-text encOder）是 NVIDIA 自研的视觉编码器系列，其核心设计目标是减少传统 CLIP 类编码器的归纳偏置。传统视觉编码器通常把图像强制缩放到固定分辨率（如 224×224 或 336×336），这会破坏文字密集图像中的小字体与细粒度几何结构。RADIO 采用「分辨率无关」的训练范式：先在大规模无监督数据上学习通用视觉表征，再通过自适应多尺度切分（mosaic）把任意长宽比的图像分解为语义连贯的 patch 集合，同时保留全局上下文摘要。这使得同一编码器可同时服务于分类、检测、分割与多模态对齐等多种下游任务，也是其被选作 Nemotron 视觉塔的原因。0.65B 的参数量在视觉编码器中属于轻量级，为整体推理预算留出空间。

真实基准对战：与同期前沿模型的正面对比

120B 视觉语言模型的成色需要在与同代前沿系统的严格对照中检验。Nemotron 3.5 Super VL 与 Claude Fable 5.1、GPT-6 Astra、DeepSeek^广告 4.1 及 Gemini 3.8 Flash Cyber 在主要多模态评测中正面对比：

基准 / 能力	Nemotron 3.5 Super VL	Claude Fable 5.1	GPT-6 Astra	DeepSeek 4.1	Gemini 3.8 Flash Cyber
Video-MME（视频时序理解）	77.4%	78.2%	76.8%	74.5%	76.1%
MMMU Pro（高级多模态推理）	71.8%	73.4%	74.1%	70.2%	71.5%
MathVista（视觉数学与图表）	79.2%	80.5%	81.2%	78.0%	78.9%
DocVQA（复杂文档阅读）	94.6%	95.1%	94.8%	93.2%	94.0%
B200 吞吐（tokens/秒）	185 tok/s	58 tok/s	62 tok/s	115 tok/s	120 tok/s
FP4 推理显存占用	~60 GB	~280 GB	~310 GB	~160 GB	~140 GB
权重许可	开放权重	专有	专有	开放权重	专有

指标解读

连续视频理解（Video-MME）：77.4% 的确定性准确率明显超过 DeepSeek 4.1（74.5%）与 GPT-6 Astra（76.8%），距 Claude Fable 5.1 仅差 0.8 个百分点。专用时间嵌入器与 Mamba 的线性效率，让长视频摄入时无需过早丢帧，稳定性超出常规。

技术文档阅读（DocVQA）：在表格提取、财务报告与建筑图纸任务中取得 94.6%，与最强的封闭商业方案形成技术性平手。

生成速度与 NVFP4 吞吐：Nemotron 的杀手锏是吞吐量。依靠 12B 激活参数的紧凑 MoE 架构与 TensorRT-LLM 中优化的 NVFP4 kernel，单台 Blackwell B200 节点上生成 185 tokens/秒，比稠密对手快至 3.2 倍。

从视频摄入到 TensorRT-LLM 输出的多模态流水线

把实时视觉流接进企业系统，需要一条在加速器与主机内存间精确校准的异步数据管线：

动态采样与预处理：视频流或高分辨率图像被 RADIO 切成动态 patch，系统绕开经典的 224x224 破坏性缩放，让文字密集区域获得更多 patch 配额。
投影与时间对齐：视觉张量经过时间嵌入器加入时序位置向量，再进入带归一化的线性投影层。
Mamba SSM 主干吸收：视觉 token 由 Mamba 状态空间层处理，无需承担自注意力的二次成本，潜状态内存连续保留场景的全局特征。
MoE 专家激活与输出：MoE 层激活与查询领域相关的 22 个专家，以每 token 低于 50ms 的延迟产出 JSON、代码或自然语言结构化回答。

生产部署：NVFP4 量化与硬件规划

在企业落地中，Nemotron 3.5 Super VL 最有吸引力的地方是基础设施成本的大幅压缩。

Blackwell 节点上的资源规划

与需要 8 块 80GB GPU 才能以 BF16 半精度存下权重的 120B 稠密模型不同，它针对 4 位 NVFP4 格式做了优化：压缩后权重约占 60 GB 显存，可完整加载进单张高容量专业 GPU（如 192GB 的 Blackwell B200），或宽松地分布在两张较小企业级 GPU 上 / Blackwell 第五代张量核心以动态指数表示执行微小浮点矩阵运算，避免旧式 INT4 量化常见的精度退化。私有云中配合 TensorRT-LLM 本地执行，可以把按 token 计费的变动推理预算转为可摊销的固定基础设施投入。

NVFP4 是 NVIDIA 在 Blackwell 架构上引入的 4 位浮点数据格式，与传统的 INT4 整数量化有本质区别。INT4 使用均匀量化步长，对权重分布中的极值与长尾极为敏感，容易造成精度骤降；NVFP4 则采用「块级共享指数 + 微缩放因子」的方案：每 16 个值共享一个 FP8 缩放因子，块内每个元素用 4 位尾数加共享指数表示，从而在极小位宽下保留浮点动态范围。配合第五代张量核心原生支持的 FP4 矩阵乘加指令，模型可在几乎不损失推理质量的前提下把权重与激活压至 4 位。这正是 120B 模型能压缩到约 60GB 显存、并在 B200 上实现 185 tokens/秒吞吐的硬件基础。相比之下，BF16 精度下同等模型需要约 240GB 权重存储，通常需多卡张量并行才能容纳。

云侧试用与开放权重

希望先原型验证再采购硬件的团队，可以在 NVIDIA Build 平台上试用该模型：提供兼容 OpenAI 标准库或 LangChain 连接器的现成端点。Hugging Face 官方仓库将提供 BF16 与 NVFP4 的统一 checkpoint，附带转换脚本与 NeMo Framework 编排配方。

常见问题

与上一代 Nemotron 3 Super 的主要差异是什么？

核心区别在输入模态与感知塔。Nemotron 3 Super 是纯文本的 120B 模型；3.5 Super VL 新增 0.65B 的 RADIO 视觉塔、视频时间嵌入器与细化的跨模态对齐，使网络能同时处理文本、视频与高分辨率图像，并采用 Mamba-MoE 混合解码。

能否在普通个人电脑 GPU 上运行？

原生状态下很难。虽然 NVFP4 压缩把权重压到约 60GB 显存，仍超出传统家用 GPU 容量。本地执行需要配备高显存密度专业卡的工作站，或带有推理专用 GPU 的企业服务器。

为什么采用 Mamba-MoE 混合架构而非传统 Transformer？

纯注意力模型处理图像与视频时面临 O(N²) 二次成本，因为每个视觉元素生成数十个 patch，压垮 KV Cache。Mamba 块（线性复杂度 O(N)）与稀疏 MoE 层交替，使 Nemotron 3.5 Super VL 能处理长达 100 万 token 的上下文序列，同时保持内存消耗可预测，每个生成 token 只激活 12B 参数。

在企业文档抽取与代码阅读任务中表现如何？

在文档视觉阅读（DocVQA 94.6%）与图表数学推理（MathVista 79.2%）上表现处于高位。RADIO 塔保留细小字体与复杂表格布局的清晰度，特别适合合同流程自动化、GUI 智能体屏幕流分析与结构化源码审计。