人物
Tschannen
Tschannen,研究人员,与Barron和Gnanapragasam合作发表论文《A Fix for Softmax and Cross-Entropy》,研究交叉熵计算中的数值精度问题。
时间轴 (近 90 天)
11月2日
Barron、Gnanapragasam与Tschannen的论文《A Fix for Softmax and Cross-Entropy》(2026年10月)指出,标准交叉熵计算在模型足够自信时(bf16下margin约5.5)会将正确答案的梯度舍入为精确的零。
待验证50%