#交叉熵

Softmax与交叉熵的两大数值Bug及修复方案

标准softmax和交叉熵实现存在两个数值bug：Softmax Collapse导致梯度不归零，Softmax Cancellation在蒸馏中产生虚假梯度。本文介绍修复方案及其对grokking、精度稳定性和知识蒸馏的改善效果。