边缘稳定性

边缘稳定性是近年发现的一种大步长梯度下降训练现象：当步长超过经典稳定性阈值时，损失并非发散，而是锐度在临界值附近波动并仍能收敛。

边缘稳定性现象在标准训练的全连接网络和Transformer中均有观察。

在对抗训练中，损失锐度可以呈现两阶段动态，与标准训练中观察到的边缘稳定性行为不同。