已验证65% 置信事实精确时间

混合精度训练将权重保存为FP32，而前向和反向传播计算使用FP16或BF16，可将显存占用减少近一半

3

来源数

65%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

Soofi开源基础模型训练代码全解析：从数据到权重的完整流程

相关事实

待验证FP8动态范围较窄，在反向传播和梯度累积时容易出现数值溢出或下溢，因此训练侧actor保持BF16精度84% 相似待验证混合精度训练通常配合损失缩放（Loss Scaling）技术使用，以防止梯度在 FP16 表示范围内消失80% 相似待验证模型量化从FP32降至INT8能将推理速度提升3-4倍，但可能导致小目标检测精度下降73% 相似待验证深度估计任务因其回归性质对精度更敏感，可能需要混合精度策略——对敏感层保持 FP16 而对其他层使用 INT869% 相似待验证GPTQ、AWQ等后训练量化方案能在INT4精度下将性能损失控制在1-2%以内68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/530838

API

curl https://kongchang.com/api/v1/knowledge/claims/530838

MCP

get_claim(id=530838)