Nemotron 3.5 Super
NVIDIA 推出的 120B 参数、12B 激活参数的多模态大模型,采用 MoE 与混合 Mamba-Transformer 架构,面向推理、长上下文理解与智能体工作负载
时间轴 (近 90 天)
两款模型都采用混合专家(MoE)与混合 Mamba-Transformer 架构,面向推理、长上下文理解与智能体工作负载。
Super 是 120B 参数、12B 激活参数的多模态模型;Lightning 则是 30B 参数、3B 激活参数的纯文本模型。
两款模型共享同一套训练哲学:大规模蒸馏、长上下文训练、原生投机解码。
Super 额外叠加了 Indic 继续预训练与智能体软件工程中期训练。
Super 引入了多教师在线策略蒸馏(MOPD),将基座模型的能力迁移到智能体行为上。
Indic 继续预训练让印度语言基准最高提升 9.82 个百分点。
后训练后的 Super 在 SWE-bench Pro 上达到 51.78%,超过了 Nemotron 3 Ultra,而激活参数大约只有后者的 1/4.6。
Super 的多模态与智能体能力高度依赖其后训练管线,社区微调能否复现这些收益目前还没有公开证据。
全部知识事实 (8)
两款模型都采用混合专家(MoE)与混合 Mamba-Transformer 架构,面向推理、长上下文理解与智能体工作负载。
50%待验证Super 是 120B 参数、12B 激活参数的多模态模型;Lightning 则是 30B 参数、3B 激活参数的纯文本模型。
50%待验证两款模型共享同一套训练哲学:大规模蒸馏、长上下文训练、原生投机解码。
50%待验证Super 额外叠加了 Indic 继续预训练与智能体软件工程中期训练。
50%待验证Super 引入了多教师在线策略蒸馏(MOPD),将基座模型的能力迁移到智能体行为上。
50%待验证Indic 继续预训练让印度语言基准最高提升 9.82 个百分点。
50%待验证后训练后的 Super 在 SWE-bench Pro 上达到 51.78%,超过了 Nemotron 3 Ultra,而激活参数大约只有后者的 1/4.6。
50%待验证Super 的多模态与智能体能力高度依赖其后训练管线,社区微调能否复现这些收益目前还没有公开证据。
50%