已验证80% 置信事实精确时间
交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度
6
来源数
80%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证在有限样本下估计互信息与条件熵极具挑战：高维连续变量的熵估计存在系统性偏差，常用的 k 近邻估计器（如 Kraskov 估计）在隐藏状态维度较高或序列相关性很强时仍不稳定。76% 相似待验证香农提出的信息熵概念表明低概率事件携带更高的信息量75% 相似待验证如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上74% 相似待验证Scaling Laws表明模型的交叉熵损失会随着计算量、数据量和参数量的增加而平滑下降，且这种下降关系可以用简单的幂律函数精确拟合73% 相似待验证该模型使用类别加权的交叉熵损失，通过为每个类别赋予与其频率成反比的权重来缓解数据不平衡73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/558138API
curl https://kongchang.com/api/v1/knowledge/claims/558138MCP
get_claim(id=558138)