NVIDIA Nemotron Bolt 3.5 74B A9B 发布：74B参数塞进24GB

NVIDIA 在开源模型上的节奏正在加快。Reddit 社区流传的消息显示，Nemotron Bolt 3.5 74B A9B 将于 10 月 15 日发布，随后 10 月 23 日还有一款 Nemotron 3.5 Bolt E4B，主打 4GB 内存占用。如果这些信息属实，它瞄准的是一个非常具体的痛点：如何在消费级硬件上同时获得速度和智能。

74B 参数、9B 激活，靠 2-bit 量化压进 24GB

根据目前披露的规格，Nemotron Bolt 3.5 74B A9B 是一个混合专家（MoE）模型：总参数 74B，但每个 token 只激活约 9B 参数。真正让它与众不同的是显存占用——通过 2-bit 量化，配合量化感知训练（QAT）技术，整个模型被压缩到 24GB 左右。

这个数字意味着一块 RTX 3090 或 4090 就能装下，不需要多卡并联，也不需要租云端 A100。对于本地部署开源模型的开发者和爱好者来说，这是门槛上的一次实质性下降。

NVIDIA 声称该模型在速度和智能之间取得了较好的平衡：比大多数流行的稠密模型更快，同时比同内存占用的主流 MoE 模型更聪明。这个定位如果成立，它的竞争对手不是最大的开源模型，而是那些"够用但不够快"或"够快但不够聪明"的中间地带产品。

混合专家（MoE，Mixture of Experts）是一种稀疏激活的模型架构。它由多个“专家”子网络和一个路由网络组成，每个 token 在推理时只被路由到其中少数几个专家，因此总参数量可以远大于单次前向实际参与计算的参数量。文章中的“74B A9B”即总参数 74B、每个 token 仅激活约 9B。这种设计的好处是：训练时可以扩大模型容量以提升知识储备，而推理成本只与激活参数挂钩，因此比同总参数量的稠密模型更快。代价是显存仍要装下全部参数（包括未被激活的专家），以及路由和负载均衡带来的工程复杂度。

QAT 是 2-bit 量化的关键前提

把 74B 参数压缩到 2-bit 而不严重掉质量，靠的不是事后量化（post-training quantization），而是量化感知训练。两者的差别很关键：事后量化是在模型训练完成后直接降低权重精度，通常在小 bit 数下会造成明显的性能退化；QAT 则是在训练过程中就模拟量化误差，让模型学会在低精度下保持输出质量。

NVIDIA 在这一步上投入的技术积累，是这款模型能否兑现"2-bit 仍可用"承诺的核心。社区对 2-bit MoE 的实际表现通常持谨慎态度——量化到 2-bit 后，模型的推理稳定性、长上下文表现和指令遵循能力都可能出现退化。Nemotron Bolt 3.5 能否在这些维度上过关，需要等实际评测出来才能判断。

量化是将模型权重或激活从高精度浮点（如 FP16）映射到更低位宽（如 4-bit、2-bit）的技术，目的是降低显存占用和内存带宽压力。位宽越低，压缩比越高，但数值表示的动态范围也越窄，误差越容易累积。2-bit 量化意味着每个权重只有约 4 个可取的离散值，对精度极为敏感，通常需要配合分组量化、缩放因子等技巧。在 MoE 模型中，量化误差还会与路由决策耦合：专家权重失真可能改变路由分布，进而影响整体输出。这也是社区对 2-bit MoE 保持谨慎的原因之一。

E4B 版本与 4GB 内存的想象空间

同一消息源还提到，Nemotron 3.5 Bolt E4B 将于 10 月 23 日发布，内存占用仅 4GB。这个规格指向的是更边缘的场景：手机、轻薄本、嵌入式设备，或者作为本地 AI 工作流中的轻量级路由/预处理模型。

4GB 的占用意味着它可能采用更激进的量化策略，参数规模也会显著缩小。E4B 的命名暗示了 4B 级别的激活参数，但具体架构细节目前尚未公开。如果 NVIDIA 能把 4GB 级别的模型做到可用的指令遵循水平，它对本地 AI 应用开发的推动可能比 74B 版本更直接。

本地 MoE 部署的竞争格局

Nemotron Bolt 3.5 切入的赛道并不空。Mistral 的 Mixtral 系列、Qwen 的 MoE 变体、DeepSeek^广告 的轻量级模型都在争夺"本地可跑"这个生态位。NVIDIA 的差异化在于硬件和软件栈的垂直整合——它有 CUDA、TensorRT-LLM、以及对自己 GPU 架构的深度理解，理论上可以在推理优化上做到比第三方模型更贴合硬件。

但这也带来一个问题：Nemotron 系列是否会优先甚至只针对 NVIDIA 显卡优化？如果模型在 AMD 或 Apple Silicon 上的表现明显打折，它对更广泛开源社区的吸引力会受限。这一点的答案可能要等模型发布后的社区测试才能揭晓。

TensorRT-LLM 是 NVIDIA 推出的开源推理优化库，专门面向大语言模型在生产环境中的高性能部署。它提供量化、KV 缓存优化、批处理调度、内核融合等能力，并能针对具体 NVIDIA GPU 架构生成高度优化的推理内核。CUDA 则是更底层的并行计算平台与编程模型。这种从芯片到推理引擎的垂直整合，使 NVIDIA 有能力针对自家硬件做深度调优，理论上可以比第三方模型获得更高的吞吐和更低的延迟。但这也意味着优化可能高度依赖 CUDA 生态，对其他硬件平台的可移植性需要额外验证。

值得关注但需要验证

目前这些信息来自 Reddit 社区流传，NVIDIA 官方尚未确认具体发布日期和完整规格。74B 总参数 + 9B 激活 + 2-bit 量化 + 24GB 占用的组合听起来很有吸引力，但几个关键问题仍待验证：2-bit 量化后的实际输出质量如何？推理速度是否真的优于同级别稠密模型？工具链支持是否完善？

如果 NVIDIA 能在发布时提供有说服力的基准测试和实际用例，Nemotron Bolt 3.5 有可能成为本地部署 MoE 模型的一个新参考点。10 月 15 日的发布值得关注。