NVIDIA发布Nemotron-3.5-Super-VL-120B-A12B模型家族
NVIDIA 发布 Nemotron-3.5-Super-VL-120B-A12B 模型家族，集成 MoE、NVFP4 量化与 LiLiCorr 推测解码。
NVIDIA 发布了 Nemotron-3.5-Super-VL-120B-A12B 模型家族，含 base、NVFP4、BF16 三种版本。从命名看，该模型采用 120B 总参数、12B 激活参数的 MoE 架构，并具备视觉语言多模态能力。同时引入的 LiLiCorr 推测解码方案，通过草稿模型生成候选 token、主模型批量验证来提升推理吞吐。NVFP4 专为 Blackwell 架构优化，能在压缩显存的同时保持精度。这一“大模型+激进量化+推测解码”的组合瞄准企业级多模态推理市场，也强化了 NVIDIA 通过开源模型绑定自身硬件生态的策略，但开发者也需评估格式兼容与硬件锁定风险。
NVIDIA 在开源模型领域再次加码。根据 Reddit 社区消息，NVIDIA 正式发布了 Nemotron-3.5-Super-VL-120B-A12B 模型家族，涵盖基础版本以及 NVFP4、BF16 多种量化格式，并引入了 LiLiCorr 推测解码方案。
模型家族构成解析
此次发布的 Nemotron-3.5-Super-VL-120B-A12B 并非单一模型，而是一个完整的技术栈。从命名规则来看，"120B-A12B"很可能表示总参数量 120B、激活参数量 12B 的 MoE（混合专家）架构，"VL"则指向视觉语言多模态能力。
NVIDIA 一次性提供了 base、NVFP4、BF16 三种版本，覆盖了从训练研究到推理部署的不同场景。NVFP4 是 NVIDIA 主推的 FP4 浮点量化格式，专为 Blackwell 架构优化，能在保持精度的前提下大幅压缩显存占用。BF16 版本则面向需要更高数值稳定性的场景。
MoE（Mixture of Experts，混合专家）是一种在 Transformer 中按需激活参数子集的稀疏架构。具体做法是把前馈层拆成多个并行的“专家”，再通过一个可学习的路由器（router）为每个 token 选择 Top-K 个专家参与计算，其余专家保持不激活。以“120B-A12B”为例，模型权重总量为 1200 亿参数，但每个 token 前向时只有约 120 亿参数实际参与运算。这样一来，模型可以在参数容量上对标千亿级稠密模型，而计算量和显存带宽消耗更接近百亿级模型。代价是路由负载均衡、专家并行通信以及部署时仍需容纳全部权重，对显存总量和多卡互联提出更高要求，因此这类架构通常配合量化与张量/专家并行一起部署。
LiLiCorr 推测解码是什么
这次发布的一个技术亮点是 LiLiCorr 推测解码（speculative decoding）方案的加入。推测解码的核心思路是用一个轻量级草稿模型快速生成候选 token，再由主模型批量验证，从而在不损失输出质量的前提下提升推理吞吐。
"LiLiCorr"这个命名暗示它可能采用了线性修正或分层校验的机制。推测解码在长文本生成和高并发服务场景下收益显著，NVIDIA 将其纳入模型家族意味着推理效率被作为一等公民对待——不只是发布权重，而是配套了端到端的加速方案。
NVFP4 是 NVIDIA 在 Blackwell 架构上引入的一种 4 位浮点数据格式，与常见的 INT4 量化不同，它保留了浮点表示，因而对激活值中的离群点更友好。其结构通常为：一个 E4M3 格式的块级缩放因子（block scale）加上一组 E2M1 的 4 位尾数，每 16 或 32 个元素共享一个缩放因子（微缩放，microscaling），从而在极低比特下维持精度。相比 FP8，NVFP4 能把权重和激活的显存占用再压缩约一半，并让 Blackwell 的第五代 Tensor Core 以原生 FP4 吞吐执行矩阵乘法。由于该格式依赖特定硬件指令与内核，在非 NVIDIA 平台上往往缺少等价支持，这也是 NVFP4 被视作生态绑定手段的原因。
多模态与 MoE 的组合意味着什么
120B 总参数配合 12B 激活的 MoE 设计，加上视觉语言能力，这个组合瞄准的是企业级多模态推理市场。MoE 架构让模型在推理时只激活部分参数，相比同规模稠密模型有更好的性价比。
视觉语言模型在实际部署中对显存和延迟的要求更高——图像编码器本身就占用大量资源。NVIDIA 同时提供 FP4 量化版本，说明团队在权衡了多模态场景的精度敏感度后，认为 FP4 已能满足生产需求。这种"大模型+激进量化+推测解码"的三件套策略，正在成为 NVIDIA 开源模型的标准打法。
视觉语言模型（VLM）通常由三部分组成：视觉编码器（如 ViT）把图像切成 patch 并编码为视觉 token；投影层（projector）把视觉 token 映射到语言模型的嵌入空间；语言模型主干再把这些视觉 token 与文本 token 拼接后进行自回归生成。图像分辨率和 patch 数量直接决定视觉 token 规模，高分辨率输入可能产生上千个 token，因此在实际推理中显存占用和首 token 延迟都明显高于纯文本模型。这也是 VLM 部署常采用动态分辨率、视觉 token 压缩或缓存复用等手段的原因，同时也解释了为什么低比特量化对多模态场景的收益格外显著。
对开发者生态的影响
从 Nemotron 系列的迭代节奏来看，NVIDIA 正在用开源模型为自己的硬件生态构建护城河。NVFP4 格式在非 NVIDIA 硬件上的支持有限，这客观上增强了 Blackwell 平台的吸引力。对于开发者而言，选择 Nemotron 意味着能获得官方优化的推理路径，但也需要评估硬件锁定的风险。
模型家族的完整发布（含多种精度和加速方案）降低了从实验到部署的迁移成本。如果 LiLiCorr 方案能开源配套代码，对推测解码在实际业务中的落地会有推动作用。
相关推荐
AI算力是新石油，但市场机制尚未成型
Hacker News 讨论将 AI 算力比作新石油，指出当前算力市场缺乏价格发现、供给集中且缺少风险对冲工具。文章分析算力交易的结构性问题，并探讨现货、合约与衍生品三层市场的可能路径，以及对 AI 从业者成本管理的实际影响。
在安卓设备上运行完整iOS 16.5固件：技术演示还是营销噱头？
Hacker News热帖声称可在安卓设备上运行完整iOS 16.5固件，获315点赞。本文从技术可行性角度分析：这更可能是网页界面模拟而非真正的固件移植，并探讨此类项目的价值与风险。
Etsy重拳整治AI垃圾商品，卖家买家双焦虑何解？
Etsy出台更严格规则限制AI生成内容在商品列表中的使用，回应买家难以分辨AI商品、卖家担忧原创作品被AI垃圾稀释的双重焦虑。本文分析规则背后的平台定位博弈、AI内容界定难题及对手工艺创作者生态的长期影响。