Nemotron 3.5 Bolt 74B-A9B
NVIDIA 推出的开源智能体大模型,采用稀疏混合专家架构,总参数 74B,每 token 激活约 9B 参数,经 2-bit 量化感知训练后可在 24GB 内存中运行,权重、训练数据和配方全部公开
核心事实
时间轴 (近 90 天)
Nemotron 3.5 Bolt 74B-A9B 采用原生 2-bit 量化,模型从训练阶段就按低比特精度设计,而非事后压缩。
官方推文没有给出 Nemotron 3.5 Bolt 74B-A9B 的具体基准分数、每秒 token 生成速度、2-bit 量化后的精度对比数据。
24GB 能装下模型和 24GB 上跑得流畅是两个问题,长上下文下的显存峰值、多轮工具调用的稳定性都还有待用户实测反馈。
NVIDIA 的 Nemotron 3.5 Bolt 74B-A9B 视觉语言模型已正式上线 Ollama,可通过命令 `ollama run nemotron-3.5-bolt` 拉取运行。
官方将 Nemotron 3.5 Bolt 74B-A9B 的使用场景定位在「日常智能体任务」(everyday agentic tasks),并强调模型可以和其他应用共享内存同时运行。
NVIDIA 声称 Nemotron 3.5 Bolt 74B-A9B 的权重可在 24GB 内存中运行,该 24GB 仅指权重本身占用,不含上下文、KV 缓存和运行时开销。
Nemotron Bolt 3.5 74B A9B 是一个混合专家(MoE)模型,总参数约 74B,每个 token 只激活约 9B 参数。
全部知识事实 (7)
NVIDIA 声称 Nemotron 3.5 Bolt 74B-A9B 的权重可在 24GB 内存中运行,该 24GB 仅指权重本身占用,不含上下文、KV 缓存和运行时开销。
80%已验证Nemotron Bolt 3.5 74B A9B 是一个混合专家(MoE)模型,总参数约 74B,每个 token 只激活约 9B 参数。
75%待验证Nemotron 3.5 Bolt 74B-A9B 采用原生 2-bit 量化,模型从训练阶段就按低比特精度设计,而非事后压缩。
50%待验证24GB 能装下模型和 24GB 上跑得流畅是两个问题,长上下文下的显存峰值、多轮工具调用的稳定性都还有待用户实测反馈。
50%待验证官方将 Nemotron 3.5 Bolt 74B-A9B 的使用场景定位在「日常智能体任务」(everyday agentic tasks),并强调模型可以和其他应用共享内存同时运行。
50%待验证官方推文没有给出 Nemotron 3.5 Bolt 74B-A9B 的具体基准分数、每秒 token 生成速度、2-bit 量化后的精度对比数据。
50%待验证NVIDIA 的 Nemotron 3.5 Bolt 74B-A9B 视觉语言模型已正式上线 Ollama,可通过命令 `ollama run nemotron-3.5-bolt` 拉取运行。
50%