概念LogSoftmax
log-softmax
softmax的对数形式,利用log-sum-exp技巧稳定计算,避免数值下溢,常与交叉熵联合使用
时间轴 (近 90 天)
10月23日
修复Softmax Collapse的方案是采用log-softmax并利用log-sum-exp技巧稳定计算。
待验证50%
10月23日
修复Softmax Cancellation的方案是联合计算log-softmax并直接对logit差值做减法。
待验证50%
10月23日
作者提出的log-softmax、softmax和交叉熵修复实现不增加计算复杂度。
待验证50%
10月23日
修复后的实现通过稳定log-softmax保持梯度有效,防止了精度崩溃。
待验证50%