本地跑 Nemotron 3.5 Super VL：128GB 内存比 Blackwell 更关键

NVIDIA 的 Nemotron 3.5 Super VL 是一个 120B 总参数、12B 激活参数的视觉语言 MoE 模型，官方主推的 NVFP4 4-bit 格式只有 Blackwell 能原生执行，这让不少人以为想本地部署就必须换新卡。但把模型卡、量化转换仓库和 Unsloth 的文档摆在一起看，结论恰好相反：真正卡住你的是内存容量，不是 GPU 架构。

Nemotron 3.5 Super VL 到底是什么

按照官方模型卡，这不是一个单纯的视觉扩展，而是 3.5 这一代 Super 级模型本身。它采用 Mamba-2/Transformer 混合 MoE 架构，每个 MoE 层有 512 个路由专家；视觉侧搭配 C-RADIO 编码器和连接器，可处理文本、JPEG/PNG 图像以及最长 2 分钟的 MP4 视频；上下文上限达到 1M token，并原生支持多 token 预测（Multi-Token Prediction）用于投机解码。

说个细节，并没有一个独立的纯文本“Nemotron 3.5 Super”——VL 模型就是 3.5 Super。它的骨干网络从 Nemotron 3 Super Base 初始化，经 Nemotron 3 Ultra Base 蒸馏 1T token，扩展到 1M 上下文，再经过 67B token 的软件工程中期训练，最后才做视觉训练。所以它真正的上一代是 3 月发布的纯文本 Nemotron 3 Super。

MoE（Mixture of Experts）与激活参数的含义

MoE 架构把 Transformer 中的稠密前馈层替换成多个并行的“专家”子网络，再由一个路由器（router）为每个 token 选择其中少数几个专家参与计算。所谓“120B 总参数、12B 激活参数”，指的是模型权重文件里存有约 120B 参数，但处理任意一个 token 时只激活约 12B，因此单 token 的计算量接近一个 12B 稠密模型，而模型的表达容量却接近 120B。

这一区分对本地部署至关重要：内存开销由总参数决定，因为所有专家权重都得驻留在显存或统一内存中；而计算速度、吞吐则更接近激活参数的量级。这也是为什么 Nemotron 3.5 Super VL 明明只有 12B 级别的算力需求，却依然要求 128GB 级别的内存——模型装不下，再快的卡也没用。

NVFP4 到底省了什么、代价是什么

NVFP4 并不是全模型 4-bit。视觉编码器、连接器、Mamba 卷积和 embedding 仍保持 BF16，MoE 路由器保持 FP32。模型卡写明推理时“在 Blackwell 上使用 W4A4，在非 Blackwell 平台上使用 W4A16”。这意味着 Hopper 卡虽然能加载这个更小的 checkpoint，但矩阵乘法仍以 16-bit 激活运行——省了显存，拿不到 FP4 张量核心的速度红利。

精度代价方面，官方在相同 harness 下对比了 BF16 和 NVFP4，大多数行差距在噪声范围内，但有几项不是：WebVoyager 从 77.72 掉到 66.31，DeepSWE 从 24.65 掉到 18.2，MMLU-ProX 从 76.91 掉到 73.76。如果你的目标是浏览器 agent，WebVoyager 上 11 个点的下滑是实打实的风险，而模型卡在表格之外完全没有提及这一点。

W4A4 与 W4A16 的区别

在量化术语里，W 指权重（Weight）位宽，A 指激活（Activation）位宽。W4A4 表示权重和激活都压到 4-bit，矩阵乘法可以直接走 FP4 张量核心，同时省内存又提速度；W4A16 则只压缩权重，激活仍是 16-bit，计算时需要把 4-bit 权重反量化后再与 16-bit 激活相乘。

硬件差异就在这里：Blackwell 的第五代张量核心原生支持 FP4 数据通路，能执行真正的 W4A4；Hopper 及更早的架构没有 FP4 乘法单元，只能退化为 W4A16。因此同一份 NVFP4 checkpoint 在不同卡上加载，得到的显存占用相近，但速度表现相差很大。这也解释了为什么“非 Blackwell 平台用 W4A16”是硬件限制而非软件选项。

哪些 GPU 或 Mac 能跑起来

核心数字很直白：仓库体积 75.1 GB，分布在 88 个 safetensors 分片里。单张消费级卡在任何位宽下都装不下 120B。

硬件	内存	现实选项
DGX Spark (GB10)	128 GB 统一内存	官方 NVFP4 + vLLM + LiLiCorr drafter，--max-num-seqs 1
RTX Pro 6000	96 GB	NVFP4 GGUF（79 GB，Unsloth 估算需 96 GB）或 UD-Q3_K_XL（65.8 GB）
128 GB+ Mac	统一内存	MLX 4-bit（69.5 GB，仅文本）或 llama.cpp Metal + UD-Q4_K_XL（86.9 GB）
RTX 5090	32 GB	装不下，连 UD-IQ1_M 都要 46.1 GB
1× H200 / 2× H100	141 GB HBM3e / 双卡	官方 NVFP4 以 W4A16 运行，或 RedHatAI FP8（128.8 GB）

对 5090 用户，NVIDIA 给出的替代方案是 Nemotron 3.5 Bolt 74B-A9B 24GB——从 Super VL 压缩而来，原生 2-bit 量化，面向 32 GB+ 独显的 llama.cpp。Mac 用户要注意，rapid-mlx 的卡片报告 M3 Ultra 在 1K 上下文下实测峰值 72.7 GB，同时明确称 96 GB Mac “尚未验证”，且图像输入和 MTP 未启用。想在 Mac 上用视觉能力，目前得走 llama.cpp 加 mmproj 文件。

GGUF、MLX 与 UD 量化命名

GGUF 是 llama.cpp 生态的模型文件格式，支持在 CPU、CUDA、Metal 等后端上运行，并通过 mmproj 文件单独加载视觉编码器；MLX 则是 Apple 面向自家芯片的统一内存框架及其模型格式，常被用于 Mac 上的本地推理。两者都是社区为绕开官方 FP4 依赖而做的移植方案。

文中出现的 UD-Q4_K_XL、UD-Q3_K_XL、UD-IQ1_M 属于 Unsloth Dynamic（UD）量化命名法：Q4/Q3 表示大致的目标位宽，K 指使用了 k-quant 系列的分组量化策略，XL 或 _M 等后缀代表该量化档位内混合精度的细分级。这些标称位宽并不等于实际平均位宽，所以同一“Q4”文件的体积会因模型结构而异——例如 UD-Q4_K_XL 达到 86.9 GB，远超一般 70B 模型的 Q4 体积。

部署路径：DGX Spark 用 vLLM，其他场景 llama.cpp

在 DGX Spark 上，官方 Quick Start 使用 vllm/vllm-openai:v0.32.0，关键参数包括 --max-num-seqs 1、--gpu-memory-utilization 0.75、投机解码 LiLiCorr drafter 配 7 个草稿 token，以及 --reasoning-parser nemotron_v3 等。这里有两个坑：模型卡上的 num_speculative_tokens 7 \ 后面带了一个 tab，直接复制会让 bash 提前结束命令；另外卡片部署表写的是“MTP with 5 draft tokens”，与命令中的 LiLiCorr 7 不一致，卡片本身又建议 Spark 上“所有场景”都用 LiLiCorr，所以以命令为准。

其他环境走 llama.cpp。Unsloth 的方案是用 -DGGML_CUDA=ON 编译（Mac 上为 OFF，Metal 是默认），下载 UD-Q4_K_XL 的 GGUF 和 mmproj，然后启动 llama-server。建议从 16K 上下文起步而不是 1M——KV cache、视频帧和 1.73 GB 的 BF16 mmproj 都从同一块内存预算里出。视频处理还需要 PATH 里有 ffmpeg 和 ffprobe。

OpenMDW 1.1 许可证才是真正的亮点

Nemotron 3 Super 用的是 NVIDIA Nemotron Open Model License，而 3.5 Super VL 换成了 OpenMDW 1.1，授予“无限制处置模型材料”的权利：没有使用领域条款，也不限制输出。你只需在再分发时保留声明，并且不能起诉称该模型侵犯专利或版权。这比大多数“开放”模型许可证更接近 MIT。

开放模型许可证的两条常见限制

许多号称“开放”的模型许可证并不等同于开源软件许可证，典型限制有两类。一是使用领域条款，例如禁止用于军事、监控或某些竞争性用途；二是输出限制，例如要求下游应用不得生成特定内容，或要求把许可证条款传递给最终用户。这两类条款会直接影响商业部署的合规审查。

OpenMDW 1.1 去掉了使用领域和输出层面的约束，只保留再分发时的声明义务与专利/版权互不诉讼条款。这正是它被拿来与 MIT 比较的原因：它更接近一个宽松的软件许可证，而不是一份附带行为规范的使用协议。对需要把模型嵌入产品再对外发布的团队来说，条款越少，法律评估成本越低。

结论：买内存，别买 FP4 张量核心

NVFP4 是一个好格式，但绑着一个推销话术。多数指标上质量损失很小，少数 agentic 指标上很大；速度优势只在 Blackwell 上存在，而社区在一天内就做出了可用的 GGUF 和 MLX 构建。如果你已经有 DGX Spark，官方路径最省心；如果没有，把钱花在内存上，而不是 FP4 张量核心上。