[控场AI]
论文

A Fix for Softmax and Cross-Entropy

论文《A Fix for Softmax and Cross-Entropy》由Barron、Gnanapragasam与Tschannen撰写,指出标准交叉熵在模型高置信时(bf16下margin约5.5)会将正确类别的梯度舍入为零,导致训练不稳定,并提出了修复方法。

时间轴 (近 90 天)

11月2日

Barron、Gnanapragasam与Tschannen的论文《A Fix for Softmax and Cross-Entropy》(2026年10月)指出,标准交叉熵计算在模型足够自信时(bf16下margin约5.5)会将正确答案的梯度舍入为精确的零。

待验证50%

全部知识事实 (1)

来源文章