待验证50% 置信事实精确时间

交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

梯度下降与反向传播详解：神经网络学习机制从零拆解

相关事实

待验证香农提出的信息熵概念表明低概率事件携带更高的信息量75% 相似待验证如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上74% 相似待验证预训练阶段使用Cross-Entropy Loss来衡量预测分布与实际下一个token之间的差距71% 相似待验证标准交叉熵损失在目标占图像面积较小时会导致严重的类别不平衡问题，模型倾向于全部预测为背景71% 相似待验证跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/558138

API

curl https://kongchang.com/api/v1/knowledge/claims/558138

MCP

get_claim(id=558138)