[控场AI]
概念LogSoftmax

log-softmax

softmax的对数形式,利用log-sum-exp技巧稳定计算,避免数值下溢,常与交叉熵联合使用

时间轴 (近 90 天)

10月23日

修复Softmax Collapse的方案是采用log-softmax并利用log-sum-exp技巧稳定计算。

待验证50%
10月23日

修复Softmax Cancellation的方案是联合计算log-softmax并直接对logit差值做减法。

待验证50%
10月23日

作者提出的log-softmax、softmax和交叉熵修复实现不增加计算复杂度。

待验证50%
10月23日

修复后的实现通过稳定log-softmax保持梯度有效,防止了精度崩溃。

待验证50%

全部知识事实 (4)

来源文章