概念Low-Precision Training
低精度训练
使用FP16、INT8等低精度数值格式进行神经网络训练的技术，需借助损失缩放、FP32主权重副本或随机舍入等技巧维持梯度数值稳定性
时间轴 (近 90 天)
10月14日
反向传播中梯度值往往极小，低精度下容易出现下溢或被舍入噪声淹没，需要损失缩放、FP32主权重副本或随机舍入等技巧来维持数值稳定性。
待验证50%
使用FP16、INT8等低精度数值格式进行神经网络训练的技术，需借助损失缩放、FP32主权重副本或随机舍入等技巧维持梯度数值稳定性
反向传播中梯度值往往极小，低精度下容易出现下溢或被舍入噪声淹没，需要损失缩放、FP32主权重副本或随机舍入等技巧来维持数值稳定性。