待验证60% 置信事实精确时间
交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失
2
来源数
60%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大79% 相似待验证该模型使用类别加权的交叉熵损失，通过为每个类别赋予与其频率成反比的权重来缓解数据不平衡72% 相似待验证Forge性能比预期慢，主要瓶颈集中在交叉熵损失函数及其梯度计算和softmax上，且尚未实现KV-cache72% 相似待验证CLIP使用softmax交叉熵损失，计算复杂度为O(n²)，SigLIP的sigmoid损失使每个图文对独立计算，消除了对大批次训练的硬性依赖72% 相似待验证在计算交叉熵损失时，softmax对正确标签位置i的梯度为p_i-1，对其他位置j的梯度为p_j，使lm_head输出层梯度密集71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/556679API
curl https://kongchang.com/api/v1/knowledge/claims/556679MCP
get_claim(id=556679)