[控场AI]
概念虚假梯度Bug

Softmax Cancellation

标准softmax实现中的数值缺陷:在知识蒸馏中当学生与教师logits相等时,因分别归一化再相减产生非零虚假梯度,导致学生漂移

时间轴 (近 90 天)

10月23日

标准softmax实现存在两个数值bug:Softmax Collapse和Softmax Cancellation。

待验证50%
10月23日

在知识蒸馏中,当学生logits与教师logits完全相等时,标准softmax实现会产生非零的虚假梯度。

待验证50%

全部知识事实 (2)

来源文章