Unverified50% confidenceFactExact time
Loss Scaling最初由NVIDIA在2018年提出，用于解决FP16训练中梯度下溢问题
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
Related Claims
Unverified混合精度训练通常配合损失缩放（Loss Scaling）技术使用，以防止梯度在 FP16 表示范围内消失78% similarUnverifiedFocal Loss由何恺明等人在2017年的RetinaNet论文中提出，用于解决目标检测中前景与背景样本极度不均衡的问题68% similarUnverified应对损失尖峰的工程策略包括梯度裁剪（将梯度范数限制在1.0以内）、从尖峰前检查点回滚重训以及使用QK Normalization65% similarUnverified分散损失是一种在训练目标中显式加入约束项、鼓励嵌入向量在空间中尽可能散开的正则化方法，用于对抗小语言模型中的嵌入坍缩64% similarUnverifiedMRL在训练时同时优化多个维度层级的损失函数，总损失是各粒度损失的加权和64% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/510047API
curl https://kongchang.com/api/v1/knowledge/claims/510047MCP
get_claim(id=510047)