待验证50% 置信事实精确时间
二分类交叉熵损失公式为 -[y·log(p) + (1-y)·log(1-p)]，其中y是真实标签，p是模型预测的正类概率
1
来源数
50%
置信度
长期有效
时效性
2026/8/10
首次发现
来源
相关事实
待验证交叉熵损失函数鼓励模型将正确类别的logit推向无穷大，导致深度网络预测过于确定69% 相似待验证随机变量的香农熵定义为 H(X) = -∑ p(x) log p(x)，衡量随机变量的平均不确定性68% 相似待验证困惑度定义为 PPL = 2^{H(p,q)}，其中H(p,q)是模型分布相对真实分布的交叉熵，任何模型的困惑度都无法低于语言真实熵率对应的值66% 相似待验证逻辑回归的参数通过最大化对数似然函数（等价于最小化交叉熵损失）来估计66% 相似待验证交叉熵恢复率通过将SAE重建激活替代原始激活输入到模型后续层比较交叉熵损失变化来计算，衡量SAE是否保留对下游计算重要的信息65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/721283API
curl https://kongchang.com/api/v1/knowledge/claims/721283MCP
get_claim(id=721283)