Unverified50% confidenceFactExact time

交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度

1

Sources

50%

Confidence

Long-term

Relevance

7/19/2026

First Seen

Sources

梯度下降与反向传播详解：神经网络学习机制从零拆解

Related Claims

Unverified香农提出的信息熵概念表明低概率事件携带更高的信息量75% similar Unverified如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上74% similar Unverified预训练阶段使用Cross-Entropy Loss来衡量预测分布与实际下一个token之间的差距71% similar Unverified标准交叉熵损失在目标占图像面积较小时会导致严重的类别不平衡问题，模型倾向于全部预测为背景71% similar Unverified跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力69% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/558138

API

curl https://kongchang.com/api/v1/knowledge/claims/558138

MCP

get_claim(id=558138)