NVIDIA 开源 74B 智能体模型，24GB 显存即可运行

当整个行业都在收紧，NVIDIA 选择了开放

过去这个月，主流厂商几乎步调一致地选择了闭源路线。Meta 的 Muse Wonder 通过 API 提供服务，OpenAI 的 GPT-6 锁定在 ChatGPT 内部，Google 的 Gemini 4 Argon 同样只开放接口。用户按 token 付费，数据必须离开本地设备。

NVIDIA 走了一条相反的路。其发布的 Nemotron 3.5 Bolt 74B-A9B 是一个 74 亿参数的智能体模型，官方称可在 24GB 内存中运行，并且模型权重、训练数据和训练配方全部公开。这不是演示版本，也不是需要审批的预览版——是整个模型供人下载。

需要保持一个诚实的提醒：截至发稿，权重文件是否已正式上线尚未确认，目前信息均来自发布前的预告报道。建议直接查看 Hugging Face 或 Ollama 确认实际下载状态，不要假设它已经就位。

"74B 塞进 24GB"的技术逻辑

模型名称本身就是一份微型规格表。74B 是总参数量，A9B 表示每个 token 约激活 90 亿参数，24GB 则是 NVIDIA 声称的权重压缩后占用空间。

Bolt 采用的是稀疏混合专家（MoE）架构。每个 token 只有约 90 亿参数参与计算，所以单 token 的计算量看起来像 9B 模型，但存储的知识覆盖 74B。关键点在于：未激活的参数仍然需要存储。混合专家节省的是计算，不是存储空间。

真正的存储技巧来自 2-bit 量化配合量化感知训练——参数以 2 bit 而非通常的 16 bit 存储，并且模型在训练阶段就预期了这种压缩，而不是训练完成后再强行量化。这是 74 亿参数能压缩到 24GB 附近的核心原因。

但细节值得留意。24GB 只是 NVIDIA 对权重本身的声明，并非完整系统需求。上下文长度、KV 缓存、运行时开销以及智能体软件都会额外占用内存。把 24GB 当作下限，而非舒适的目标值。

稀疏混合专家（MoE）架构的核心思路，是把一个大型前馈网络拆成许多个"专家"子网络，再由一个轻量的路由网络决定每个 token 该交给哪几个专家处理。传统稠密模型中，每个 token 都会激活全部参数；MoE 则只激活被选中的少数专家，因此总参数量可以远大于单次计算量。这就是 74B-A9B 这个命名的由来：74B 是仓库里所有专家的参数总和，A9B 是每个 token 实际触发的约 90 亿参数。

需要区分两个概念：激活参数决定推理时的算力开销，总参数决定显存中必须驻留的权重体积。MoE 降低的是前者，后者并不会因为稀疏而自动缩小。换句话说，MoE 让模型"算得快"，但不让它"存得小"。要真正把 74B 放进 24GB，还必须依靠量化把每个参数的位宽从 16 bit 压到 2 bit。两者叠加，才是 NVIDIA 这套方案在消费级硬件上可运行的前提。

**量化感知训练（QAT）**指的是在训练阶段就模拟低精度运算，让模型权重去适应量化带来的误差，而不是等训练结束后再对权重做一次性压缩。这种"先训练、后量化"的方式叫训练后量化（PTQ），通常在 8 bit 甚至 4 bit 时还能保持质量，但推到 2 bit 附近，误差会明显放大。

QAT 的代价是需要掌握完整训练流程并投入重算，好处是模型在极低位宽下的退化更可控。NVIDIA 同时公开了训练数据和配方，理论上让外部研究者可以复现并核查 2-bit 压缩究竟损失了多少能力。不过位宽越低，通常对推理内核的要求也越高——消费级框架是否能高效执行 2-bit 矩阵乘法，会直接影响实际速度与显存占用，这部分需要实测而非只看宣传数字。

开源与闭源：两种截然不同的 AI 哲学

Bolt 与本月其他发布的核心差异在于开放性。Muse Wonder 闭源权重、按 $4/$20 每百万 token 收费；GPT-6 Sol 闭源、按 $2/$10 收费；Gemini 4 Argon 同样闭源、按 $2/$10 的入门价格提供服务。Bolt 则可以免费下载——你只需要支付硬件和电费。

实际影响很具体。开放权重意味着你可以针对自己的智能体场景微调模型，而不是围绕别人的 API 做提示工程。可以完全离线运行，这对隐私敏感的工作以及数据不能离开本地设备的场景至关重要。研究者能审查训练数据和配方，而非仅仅调用一个黑盒。

但开放不等于对等。闭源模型在独立基准测试上仍然领先，而 Bolt 目前没有任何独立评测。NVIDIA 自称"比密集模型更快、比同等占用空间的 MoE 模型更聪明"——这本质上是 NVIDIA 在批改自己的作业。在独立基准出来之前，不应将这类声明当作已验证的事实。

开放权重与开源在 AI 语境下并不等价。开放权重指的是模型参数文件可以自由下载、运行和（在许可允许范围内）微调；开源则通常还要求公开训练代码、数据与完整配方，使第三方能够从头复现。NVIDIA 同时公开权重、训练数据和训练配方，已接近后者，但最终能走多远仍取决于正式许可证条款——有些"开放"许可会限制商用、再分发或衍生模型的使用。

对使用者的实际意义在于控制权：权重在自己手里，模型不会因 API 改版、涨价或下线而失效，数据也不必离开本地设备。代价是你要自己承担算力、部署、评测和质量把关，且一旦上游停止更新，能力会逐渐落后于持续迭代的闭源前沿模型。

实际运行方式与生态布局

NVIDIA 在发布时列出了五个运行时：llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio，外加 Hermes 和 OpenClaw^广告 两个智能体框架。

最简单的方式是通过 Ollama 或 LM Studio，用官方模型名称直接拉取运行。喜欢折腾的用户可以选择 llama.cpp（它也是 NVIDIA 新推出的免费 Llama for Windows 应用的底层引擎）。vLLM 将模型作为 API 端点提供服务；Unsloth 则用于在自己的数据上微调模型。

下载前有两个警告。第一，务必在官方渠道核对确切的模型名称——热门发布周围很快会出现错误或仿冒的列表，猜测模型 ID 可能拉取到非官方版本。第二，在基于它构建业务之前先确认许可证，权重在发布时尚未公开，确切条款需要等正式上线后才能确认。

Bolt 并非单独到来。它是 RTX Spark 笔记本的软件旗舰——该系列最高支持 128GB 统一内存，NVIDIA 尚未公布零售价格。同时发布的还有 PAIR，一个免费开源的 Personal AI Router，从测试版正式毕业。

PAIR 将推理任务分散到家庭网络中的各台 PC 上。一个常被误解的细节：它把整个任务路由到某一台机器，而不是池化 GPU 内存。三台各 24GB 的 PC 不会合并成一个 72GB 的虚拟 GPU。你获得的是并行吞吐量——NVIDIA 自己的演示中，一个五子智能体的收件箱任务在一台机器上耗时 18 分钟，分散到三台后降到不足 9 分钟。

文中的几个运行时各有分工，值得先分清再选用。llama.cpp 是偏底层的 C/C++ 推理引擎，擅长在 CPU、消费级 GPU 和混合配置上跑量化模型；Ollama 和 LM Studio 在其之上提供更友好的模型管理与图形界面，适合快速尝鲜；vLLM 面向服务端，以连续批处理和高吞吐见长，常被用来把模型包装成 OpenAI 兼容的 API 端点；Unsloth 则专注微调，通过优化显存与速度让个人硬件也能做 LoRA 类训练。

它们背后的量化格式与内核实现并不完全一致，同一个模型在不同运行时下的显存占用和生成速度会有差异。因此看到"24GB 可运行"时，还应确认是针对哪套运行时、什么上下文长度测得的。另外，KV 缓存会随上下文长度线性增长，长上下文场景下它可能比权重本身更吃显存，这是把 24GB 当下限而非舒适值的重要原因。

判断与建议

Bolt 是本月最值得关注的 AI 发布，恰恰因为它拒绝了这个月的主流模式。但验证仍在进行中：权重在发稿时尚未确认上线，没有独立基准测试，激进的 2-bit 量化对质量的真实影响只有实测才能揭示。这些不是否定它的理由，而是提醒我们：去测它，而不是信它。

如果你想要一个完全运行在自己硬件上的、具备隐私保护和离线能力的、可微调的智能体模型，这是值得关注的对象。如果你需要最大化的原始能力且愿意支付 API 费用，前沿 API 仍是答案。混合方案——日常任务用 Bolt，最难的 10% 交给前沿 API——是目前生产环境中最务实的默认策略。