Nemotron-3.5-Super
NVIDIA推出的混合专家（MoE）大语言模型，采用小专家多数量设计，专家在1024维潜在空间工作，支持NVFP4低精度格式
时间轴 (近 90 天)
Nemotron-3.5-Super 的单个专家（up 2688×1024 + down 1024×2688）在 NVFP4 格式下仅占 3.10MB。
Nemotron-3.5-Super 每个 token 需要读取约 2.7GB 的专家权重（22 个专家 × 40 层 × 3.10MB）。
开发者基于 PyTorch 和 Triton 构建了推理引擎，在 RTX 5060（8GB 显存）上实现了 Nemotron-3.5-Super 的运行。
跳过零值优化（利用 ReLU² 后 92.5% 神经元为零，按 16 神经元组读取 down 权重）将速度从 6.6 tok/s 提升至 7.3-7.6 tok/s，提升约 12%。
将 RAM 缓存增大到 20GB 后，磁盘读取从 136.9ms 降至 121.5ms，速度从 7.3 提升到 8.2 tok/s。
引擎的数值正确性验证显示，与 CPU fp32 transformers 参考实现相比，英文段落 PPL 为 5.233 vs 5.280，平均 KL ≤ 0.003，贪婪答案匹配 63/64 和 64/64。
全部知识事实 (6)
Nemotron-3.5-Super 的单个专家（up 2688×1024 + down 1024×2688）在 NVFP4 格式下仅占 3.10MB。
50%待验证Nemotron-3.5-Super 每个 token 需要读取约 2.7GB 的专家权重（22 个专家 × 40 层 × 3.10MB）。
50%待验证跳过零值优化（利用 ReLU² 后 92.5% 神经元为零，按 16 神经元组读取 down 权重）将速度从 6.6 tok/s 提升至 7.3-7.6 tok/s，提升约 12%。
50%待验证将 RAM 缓存增大到 20GB 后，磁盘读取从 136.9ms 降至 121.5ms，速度从 7.3 提升到 8.2 tok/s。
50%待验证引擎的数值正确性验证显示，与 CPU fp32 transformers 参考实现相比，英文段落 PPL 为 5.233 vs 5.280，平均 KL ≤ 0.003，贪婪答案匹配 63/64 和 64/64。
50%待验证开发者基于 PyTorch 和 Triton 构建了推理引擎，在 RTX 5060（8GB 显存）上实现了 Nemotron-3.5-Super 的运行。
50%