待验证50% 置信事实精确时间
Loss Scaling最初由NVIDIA在2018年提出，用于解决FP16训练中梯度下溢问题
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
待验证混合精度训练通常配合损失缩放（Loss Scaling）技术使用，以防止梯度在 FP16 表示范围内消失78% 相似待验证Focal Loss由何恺明等人在2017年的RetinaNet论文中提出，用于解决目标检测中前景与背景样本极度不均衡的问题68% 相似待验证应对损失尖峰的工程策略包括梯度裁剪（将梯度范数限制在1.0以内）、从尖峰前检查点回滚重训以及使用QK Normalization65% 相似待验证分散损失是一种在训练目标中显式加入约束项、鼓励嵌入向量在空间中尽可能散开的正则化方法，用于对抗小语言模型中的嵌入坍缩64% 相似待验证MRL在训练时同时优化多个维度层级的损失函数，总损失是各粒度损失的加权和64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/510047API
curl https://kongchang.com/api/v1/knowledge/claims/510047MCP
get_claim(id=510047)