概念
LatentMoE
NVIDIA提出的MoE架构变体，路由发生在低维潜空间而非完整隐藏维度，从而降低通信与计算开销，支持在同等显存下部署更大参数量的模型。
时间轴 (近 90 天)
10月15日
Nemotron 3.5 Bolt 的架构采用 Mamba-2 与 Transformer 混合的 LatentMoE，视觉侧使用 C-RADIO v4-H 编码器。
待验证50%
NVIDIA提出的MoE架构变体，路由发生在低维潜空间而非完整隐藏维度，从而降低通信与计算开销，支持在同等显存下部署更大参数量的模型。
Nemotron 3.5 Bolt 的架构采用 Mamba-2 与 Transformer 混合的 LatentMoE，视觉侧使用 C-RADIO v4-H 编码器。