[控场AI]
模型Nemotron 3.5 Bolt / Bolt 74B-A9B

Nemotron 3.5 Bolt 74B-A9B

NVIDIA 推出的开源智能体大模型,采用稀疏混合专家架构,总参数 74B,每 token 激活约 9B 参数,经 2-bit 量化感知训练后可在 24GB 内存中运行,权重、训练数据和配方全部公开

核心事实

时间轴 (近 90 天)

10月18日

Nemotron 3.5 Bolt 74B-A9B 采用原生 2-bit 量化,模型从训练阶段就按低比特精度设计,而非事后压缩。

待验证50%
10月18日

官方推文没有给出 Nemotron 3.5 Bolt 74B-A9B 的具体基准分数、每秒 token 生成速度、2-bit 量化后的精度对比数据。

待验证50%
10月18日

24GB 能装下模型和 24GB 上跑得流畅是两个问题,长上下文下的显存峰值、多轮工具调用的稳定性都还有待用户实测反馈。

待验证50%
10月18日

NVIDIA 的 Nemotron 3.5 Bolt 74B-A9B 视觉语言模型已正式上线 Ollama,可通过命令 `ollama run nemotron-3.5-bolt` 拉取运行。

待验证50%
10月18日

官方将 Nemotron 3.5 Bolt 74B-A9B 的使用场景定位在「日常智能体任务」(everyday agentic tasks),并强调模型可以和其他应用共享内存同时运行。

待验证50%
10月15日

NVIDIA 声称 Nemotron 3.5 Bolt 74B-A9B 的权重可在 24GB 内存中运行,该 24GB 仅指权重本身占用,不含上下文、KV 缓存和运行时开销。

已验证80%
10月14日

Nemotron Bolt 3.5 74B A9B 是一个混合专家(MoE)模型,总参数约 74B,每个 token 只激活约 9B 参数。

已验证75%

全部知识事实 (7)

来源文章