待验证50% 置信事实精确时间

Barron、Gnanapragasam与Tschannen的论文《A Fix for Softmax and Cross-Entropy》（2026年10月）指出，标准交叉熵计算在模型足够自信时（bf16下margin约5.5）会将正确答案的梯度舍入为精确的零。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/11/2

首次发现

有效期至：2027/1/31

来源

bf16精度陷阱：你的微调可能只训练了部分权重

涉及实体

Barronperson Gnanapragasamperson Tschannenperson A Fix for Softmax and Cross-Entropyconcept bf16concept

相关事实

待验证有限样本估计熵率面临系统性负偏差问题，插件估计量倾向于低估真实熵，可用Miller-Madow校正通过添加(k-1)/(2N)项补偿72% 相似待验证均匀转移情形下马尔可夫链熵率达到最大值 log N，确定性转移情形下熵率为071% 相似待验证假设数据服从伯努利或多项分布，最大化似然等价于最小化交叉熵损失函数69% 相似已验证分类任务中的交叉熵损失本质上是对数似然函数的负值，最小化交叉熵等价于最大化模型对训练数据的对数似然68% 相似待验证交叉熵损失函数 H(p,q) = -Σp(x)log q(x) 的最小值在q=p时取到，等于真实分布的熵67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1127255

API

curl https://kongchang.com/api/v1/knowledge/claims/1127255

MCP

get_claim(id=1127255)