概念Bitwise Determinism / 逐位确定性
位级确定性
大规模模型训练中的一种工程特性，要求在相同输入、硬件和软件配置下，训练每步结果精确到比特位层面完全一致，有别于统计意义上的可复现性
时间轴 (近 90 天)
10月8日
NVIDIA通过Megatron Core引入了位级确定性（Bitwise Determinism）训练能力
待验证50%
10月8日
位级确定性指在相同输入、相同硬件和软件配置下，训练过程每一步产生的数值结果能精确到比特位层面完全一致
待验证50%
10月8日
一般意义上的可复现只保证统计意义上的相近结果，而位级确定性要求逐位相等
待验证50%
10月8日
确定性保证从checkpoint恢复后的训练轨迹与未中断时完全一致
待验证50%
10月8日
实现位级确定性需要框架将聚合操作的执行顺序严格固定，代价是放弃部分通信与计算的重叠优化空间
待验证50%