Softmax Collapse

标准softmax实现存在两个数值bug：Softmax Collapse和Softmax Cancellation。

Softmax Collapse会导致目标logit的梯度舍入为零，破坏梯度之和为零的性质。

Softmax Collapse导致的梯度失衡可能让模型过早锁定在记忆解，延迟或阻止向泛化解的过渡。