产品Megatron-LM
Megatron
NVIDIA开发的大规模语言模型训练框架，支持张量并行、流水线并行等多种并行策略，广泛用于超大规模模型的分布式预训练和微调
时间轴 (近 90 天)
10月12日
英伟达的NeMo、Megatron等框架和自有模型（如Nemotron）需要海量语料。
待验证50%
10月4日
RL训练中训练端常用Megatron框架，推理端常依赖vLLM这类高吞吐引擎，两套系统在计算顺序、数值精度、舍入处理上的差异累积会影响RL稳定性
待验证50%
10月4日
RL-Kernel团队在8块AMD MI300X上运行了200步的Qwen3-8B GRPO训练任务，结果显示Megatron训练端与vLLM rollout端之间零logprob不匹配
待验证50%
10月4日
训练框架为吞吐量可能采用跨张量并行分片的归约策略，而推理框架在KV-cache优化模式下使用另一套kernel，即便输入相同，输出的最后几个ULP也可能不同
待验证50%
全部知识事实 (4)
待验证
英伟达的NeMo、Megatron等框架和自有模型（如Nemotron）需要海量语料。
50%待验证RL训练中训练端常用Megatron框架，推理端常依赖vLLM这类高吞吐引擎，两套系统在计算顺序、数值精度、舍入处理上的差异累积会影响RL稳定性
50%待验证RL-Kernel团队在8块AMD MI300X上运行了200步的Qwen3-8B GRPO训练任务，结果显示Megatron训练端与vLLM rollout端之间零logprob不匹配
50%待验证训练框架为吞吐量可能采用跨张量并行分片的归约策略，而推理框架在KV-cache优化模式下使用另一套kernel，即便输入相同，输出的最后几个ULP也可能不同
50%