英伟达发布Nemotron 3.5 Bolt：74B参数塞进24GB显存的本地VLM

英伟达在 Hugging Face 上放出了 Nemotron 3.5 Bolt 74B-A9B 24GB——一个总参数 74B、激活参数 9B 的视觉语言模型（VLM），核心卖点是用原生 2-bit 量化把整个模型压进 24GB 显存，一块消费级或单卡工作站就能跑，同时还能腾出资源给别的程序。

74B 参数怎么装进 24GB

模型卡给出的答案是一套组合拳：架构上采用 Mamba-2 与 Transformer 混合的 LatentMoE，视觉侧挂载 C-RADIO v4-H 编码器；精度上直接走 IQ2，也就是带量化感知训练（QAT）的 2-bit 量化。官方称这是一次"原生"量化，而非事后压缩，目标是优化每 GB 显存所换来的智能与速度。

参数结构是 74B 总量、9B 激活。这种"大身躯、小激活"的设计让推理时的实际计算量远离 74B 这个数字，配合 2-bit 权重，最终打包成 24GB 的部署体积。上下文长度最高支持 256K tokens，输入支持文本、图像和视频，输出为文本。

MoE 与激活参数：混合专家（Mixture-of-Experts, MoE）把原本单一的前馈网络拆成多个并行的"专家"子网络，每次前向只路由并激活其中少数几个，因此总参数可以很大、单次计算量却很小。"74B-A9B"里的 9B 指的就是单次 token 实际参与计算的激活参数规模。LatentMoE 是英伟达在此基础上的变体，路由发生在低维潜空间而非完整隐藏维度，从而进一步降低通信与计算开销，这也是它在同等显存下能塞进更大"身躯"的前提。

量化感知训练（QAT）：普通训练后再量化（PTQ）是把已训练好的权重直接截断成低位表示，往往带来明显精度损失。QAT 则在训练阶段就模拟量化误差，让模型自己去适应低位宽，因此 2-bit 这种极端压缩才有可用性。"IQ2"是 llama.cpp/GGUF 生态中的 2-bit 量化格式，通过重要性加权与混合精度方式在极低位宽下尽量保留关键权重精度。

速度与智能的取舍逻辑

英伟达对这款模型的定位描述得很直白：比大多数主流稠密模型更快，同时比显存占用相近的主流 MoE 模型更聪明。这句话隐含的参照系是——在 24GB 这个显存档位上，通常只能跑参数量小得多的稠密模型，或者激活效率没那么极致的 MoE。Bolt 试图在这个约束下拿到更高的"智价比"。

这种取舍对于本地 agentic 任务是关键。日常自动化任务往往需要模型持续在线、反复调用，延迟和显存占用比单次回答的极致质量更重要。

推理栈与部署细节

部署侧，模型走 vLLM，支持 NVIDIA Ampere（A100）、Hopper（H100-80GB）和 Blackwell 平台。值得单独拎出来的是投机解码：配套提供 LiLiCorr drafter，通过 DFlash 实现，Bolt 的 vLLM 配置中默认带 7 个投机 token。

模型卡还标注了推理模式的切换方式——沿用 Super 3.5 VL 客户端的 chat-template 控制，通过 enable_thinking=True/False 开关思考模式。推荐采样参数为 temperature 1.0、top_p 0.95，同样继承自 Super 3.5 VL。

Hugging Face 上除主仓库外，还有 GGUF 版本以及 LiLiCorr-GGUF 版本，方便不同推理后端接入。

投机解码（Speculative Decoding）：大模型逐 token 生成时，每步都要跑一次完整前向，瓶颈常在显存带宽而非算力。投机解码让一个极小的"草稿模型"先连续猜出若干 token，再由目标模型一次性并行校验，被接受的 token 就直接采用。这样把多次串行前向合并成一次，显著提升吞吐而不改变输出分布。文中"7 个投机 token"即每轮草稿长度，LiLiCorr drafter 就是配套的草稿模型，DFlash 是它的实现方式。

vLLM：主流的高吞吐 LLM 推理引擎，核心是 PagedAttention——把 KV Cache 像操作系统分页那样管理，减少显存碎片与浪费，从而在同等显存下支撑更大并发与更长上下文。这也是 256K 上下文能在 24GB 卡上落地的重要支撑。

许可与数据时效

许可协议为 OpenMDW-1.1，商用与非商用均可。模型开发方为 NVIDIA Corporation，模型日期区间标注为 December 2025 至 May 2026，后训练数据截止到 May 2026。

Nemotron 系列本身的定位是"开放权重、开放训练数据、开放配方"，面向构建专用 AI agent 的场景。Bolt 是这个家族里偏向"小显存、可常驻"的一支。

开放权重 ≠ 开源：Nemotron 采用的 OpenMDW-1.1 属于"开放权重"许可，即公布训练好的参数，允许商用与非商用使用；而"开放训练数据、开放配方"则更进一步，公开数据来源与训练方法，使下游可复现甚至自行改造。这一区分对 agent 开发者很关键：开放权重意味着可私有化部署与微调，但能否商用、是否需署名仍取决于具体许可条款。

一句话总结

Nemotron 3.5 Bolt 把 74B 的 MoE 架构、视觉能力和 256K 上下文，通过 2-bit QAT 压到 24GB 显存里，配上投机解码和 vLLM 部署路径，指向的是本地常驻的日常 agentic 工作流，而不是云端大模型的替代品。