模型
Nemotron-H
NVIDIA推出的混合架构模型，几乎将所有注意力层替换为Mamba-2层
时间轴 (近 90 天)
10月16日
Nemotron-H 解码器采用 512 专家 MoE 层，推理时动态路由仅激活 22 个专家，120B 总参数中每步仅 12B 参与计算。
待验证50%
10月14日
NVIDIA 的 Nemotron-H 几乎把所有注意力层都替换成了 Mamba-2 层。
待验证50%
NVIDIA推出的混合架构模型，几乎将所有注意力层替换为Mamba-2层
Nemotron-H 解码器采用 512 专家 MoE 层，推理时动态路由仅激活 22 个专家，120B 总参数中每步仅 12B 参与计算。
NVIDIA 的 Nemotron-H 几乎把所有注意力层都替换成了 Mamba-2 层。