混合精度训练
深度学习训练优化技术，在前向传播和梯度计算中使用半精度浮点（FP16），参数更新时保留全精度（FP32）主权重副本，可显著减少显存占用并加速训练
时间轴 (近 90 天)
混合精度训练在训练中同时使用低精度（FP16、BF16或FP8）和高精度（如FP32）数值格式，矩阵运算用低精度以节省显存和带宽，参数更新等敏感环节保留高精度以避免溢出。
预训练对显存（或NPU片上内存）的占用通常是推理的数倍，且对数值精度极为敏感，混合精度训练中一旦出现溢出或下溢，可能导致loss发散。
不同硬件架构、不同CUDA版本及不同算子调度顺序都可能导致浮点舍入结果出现细微差异
生产环境中工程师需要处理混合精度训练（FP16/BF16）和分布式并行策略（数据并行、流水线并行、张量并行）等复杂问题
梯度检查点和混合精度训练（FP16/BF16）是常见的降存措施
现代训练框架采用混合精度训练和梯度缩放（loss scaling）技术，通过放大小梯度到可表示范围来避免小数被吞没
混合精度训练搭配Adam优化器时每个参数约需14字节，700亿参数模型的全参数训练可能需要超过1TB内存
在有限硬件条件下可使用混合精度训练、梯度累积等技巧来最大化资源利用效率
全部知识事实 (10)
混合精度训练在不显著损失模型精度的前提下，可将训练速度提升约2倍，显存占用降低近一半
75%待验证混合精度训练在训练中同时使用低精度（FP16、BF16或FP8）和高精度（如FP32）数值格式，矩阵运算用低精度以节省显存和带宽，参数更新等敏感环节保留高精度以避免溢出。
50%待验证预训练对显存（或NPU片上内存）的占用通常是推理的数倍，且对数值精度极为敏感，混合精度训练中一旦出现溢出或下溢，可能导致loss发散。
50%待验证不同硬件架构、不同CUDA版本及不同算子调度顺序都可能导致浮点舍入结果出现细微差异
50%待验证生产环境中工程师需要处理混合精度训练（FP16/BF16）和分布式并行策略（数据并行、流水线并行、张量并行）等复杂问题
50%待验证梯度检查点和混合精度训练（FP16/BF16）是常见的降存措施
50%待验证现代训练框架采用混合精度训练和梯度缩放（loss scaling）技术，通过放大小梯度到可表示范围来避免小数被吞没
50%待验证混合精度训练搭配Adam优化器时每个参数约需14字节，700亿参数模型的全参数训练可能需要超过1TB内存
50%待验证在有限硬件条件下可使用混合精度训练、梯度累积等技巧来最大化资源利用效率
50%待验证混合精度训练前向传播用FP16利用Tensor Core加速，参数更新保留FP32以维持数值稳定性，已成为大模型训练的标准做法
50%