概念虚假梯度Bug
Softmax Cancellation
标准softmax实现中的数值缺陷:在知识蒸馏中当学生与教师logits相等时,因分别归一化再相减产生非零虚假梯度,导致学生漂移
时间轴 (近 90 天)
10月23日
标准softmax实现存在两个数值bug:Softmax Collapse和Softmax Cancellation。
待验证50%
10月23日
在知识蒸馏中,当学生logits与教师logits完全相等时,标准softmax实现会产生非零的虚假梯度。
待验证50%