Nemotron 3.5 Bolt
英伟达推出的开源大语言模型,采用MoE架构与量化感知训练实现2bit权重,专为24GB显存消费级硬件本地运行设计,支持多模态视觉输入。
时间轴 (近 90 天)
这四款模型中只有英伟达的Nemotron 3.5 Bolt能在24GB显存内运行。
Unsloth在Nemotron 3.5 Bolt发布当天放出了GGUF格式,支持llama.cpp、Ollama和LM Studio。
Nemotron 3.5 Bolt 最高支持 256K tokens 上下文,输入支持文本、图像和视频,输出为文本。
Nemotron 3.5 Bolt 部署走 vLLM,支持 NVIDIA Ampere(A100)、Hopper(H100-80GB)和 Blackwell 平台。
Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。
Nemotron 3.5 Bolt 使用原生 2-bit 量化(IQ2,带量化感知训练 QAT)将模型压缩进 24GB 显存,可在一块消费级或单卡工作站上运行。
Hugging Face 上除主仓库外,还提供 Nemotron 3.5 Bolt 的 GGUF 版本以及 LiLiCorr-GGUF 版本。
Nemotron 3.5 Bolt 的许可协议为 OpenMDW-1.1,允许商用与非商用使用。
Nemotron 3.5 Bolt 的开发方为 NVIDIA Corporation,模型日期区间标注为 December 2025 至 May 2026,后训练数据截止到 May 2026。
Nemotron 3.5 Bolt 通过 chat-template 控制推理模式,使用 enable_thinking=True/False 开关思考模式,推荐采样参数为 temperature 1.0、top_p 0.95,均继承自 Super 3.5 VL。
还有 1 条时间轴事件
全部知识事实 (11)
这四款模型中只有英伟达的Nemotron 3.5 Bolt能在24GB显存内运行。
50%待验证Nemotron 3.5 Bolt 的架构采用 Mamba-2 与 Transformer 混合的 LatentMoE,视觉侧使用 C-RADIO v4-H 编码器。
50%待验证Nemotron 3.5 Bolt 最高支持 256K tokens 上下文,输入支持文本、图像和视频,输出为文本。
50%待验证Nemotron 3.5 Bolt 部署走 vLLM,支持 NVIDIA Ampere(A100)、Hopper(H100-80GB)和 Blackwell 平台。
50%待验证Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。
50%待验证Nemotron 3.5 Bolt 通过 chat-template 控制推理模式,使用 enable_thinking=True/False 开关思考模式,推荐采样参数为 temperature 1.0、top_p 0.95,均继承自 Super 3.5 VL。
50%待验证Hugging Face 上除主仓库外,还提供 Nemotron 3.5 Bolt 的 GGUF 版本以及 LiLiCorr-GGUF 版本。
50%待验证Nemotron 3.5 Bolt 的许可协议为 OpenMDW-1.1,允许商用与非商用使用。
50%待验证Nemotron 3.5 Bolt 的开发方为 NVIDIA Corporation,模型日期区间标注为 December 2025 至 May 2026,后训练数据截止到 May 2026。
50%待验证Nemotron 3.5 Bolt 使用原生 2-bit 量化(IQ2,带量化感知训练 QAT)将模型压缩进 24GB 显存,可在一块消费级或单卡工作站上运行。
50%待验证Unsloth在Nemotron 3.5 Bolt发布当天放出了GGUF格式,支持llama.cpp、Ollama和LM Studio。
50%