产品NVIDIA Megatron Core
Megatron Core
NVIDIA开源的大规模模型训练框架，支持张量并行、流水线并行和数据并行三维并行策略，具备位级确定性训练能力，广泛用于超大规模语言模型预训练
时间轴 (近 90 天)
10月8日
NVIDIA通过Megatron Core引入了位级确定性（Bitwise Determinism）训练能力
待验证50%
10月8日
Megatron Core的设计思路是把确定性作为可配置选项，在调试验证阶段开启，在追求极限吞吐的生产训练中按需关闭
待验证50%
10月8日
Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
待验证50%
10月8日
实现位级确定性需要框架将聚合操作的执行顺序严格固定，代价是放弃部分通信与计算的重叠优化空间
待验证50%
10月8日
Megatron Core是一个广泛使用的开源训练框架
待验证50%