大步长对抗训练：隐式偏置、优化与锐度的新发现

对抗训练（Adversarial Training, AT）是提升模型鲁棒性的重要手段。以往对AT中梯度下降（GD）动态的理论分析，大多集中在步长很小或趋于零的连续时间极限，但实际训练中常使用较大的恒定步长。近期一篇论文专门研究了大步长下AT的GD动态，揭示了与标准训练（Standard Training, ST）的三个关键差异。

隐式偏置：AT与ST的差距在大步长下依然存在

论文首先在对抗线性逻辑回归中分析GD的收敛点（隐式偏置）和损失下降速度（优化）。此前有工作在小步长下建立了AT与ST之间的隐式偏置差距，但该结论是否在大步长下成立尚不清楚。这项研究表明，即使步长任意大，AT和ST的隐式偏置差距依然持续存在。这意味着实际训练中常用的大步长并不会消除两种训练模式在收敛行为上的本质区别。

这一发现对理解鲁棒性来源有直接意义：AT得到的解与ST的解在参数空间中系统性地偏离，且这种偏离不随步长增大而消失，说明隐式偏置是AT的内在属性而非小步长极限的伪影。

隐式偏置（Implicit Bias） 指梯度下降等优化算法在拟合训练数据的前提下，倾向于收敛到某一类特定解（如最小范数解）的现象。即使模型容量足以插值数据，优化算法的离散更新规则也会在解空间中引入偏好，这种偏好由算法本身而非显式正则项决定。在标准训练中，小步长GD对线性模型倾向于收敛到最小L2范数解；而在对抗训练中，内层最大化改变了有效损失 landscape，使GD收敛到另一类解。本文的核心贡献之一，是证明这种由AT引入的隐式偏置差异在小步长极限下成立，并且在任意大的恒定步长下依然保持，说明它是AT的内在属性。

对抗线性逻辑回归（Adversarial Linear Logistic Regression） 是分析对抗训练理论的常用简化模型：模型为线性分类器，损失为逻辑损失，内层对抗扰动在给定范数球内最大化损失。该模型足够简单，可解析刻画GD的收敛点与动态，同时保留了对抗训练“内层最大化—外层最小化”的核心结构。本文正是在该模型中严格建立了大步长下AT与ST隐式偏置差距的持续性，为理解更复杂神经网络中的AT行为提供了理论基础。

优化误差：没有统一的收敛速率

在标准训练中，GD的优化误差通常有统一的收敛速率保证。但论文指出，在AT中不存在这样的统一收敛速率。这一差异源于对抗训练的内层最大化过程——对抗样本的生成会随参数变化而改变，使得优化景观更加复杂，收敛行为依赖于具体问题实例。

对实践者的启示是：不能简单套用ST的收敛性直觉来设定AT的训练计划，大步长AT的收敛速度可能因数据和模型而异，需要更谨慎的调参和监控。

收敛速率（Convergence Rate） 描述优化误差随迭代步数下降的速度，通常以 O(1/T) 或 O(1/√T) 等形式给出，是衡量算法效率的理论指标。在标准训练中，GD在光滑凸问题上具有统一的收敛速率保证，不依赖于具体数据分布。但在对抗训练中，内层最大化生成的对抗样本随参数更新而动态变化，导致有效目标函数非凸且随迭代演化，难以建立对所有问题实例一致的速率界。本文指出AT中不存在统一收敛速率，意味着实践中大步长AT的收敛速度可能高度依赖数据与模型，不能简单套用ST的收敛直觉来设定训练计划。

锐度的两阶段动态：不同于边缘稳定性

论文进一步在神经网络训练中考察了AT过程中损失锐度的演化。在标准训练中，大步长GD常表现出“边缘稳定性”（Edge-of-Stability）行为——锐度在某个临界值附近波动。而AT中的锐度可以呈现两阶段动态，与ST中观察到的边缘稳定性行为不同。

这种两阶段动态表明，对抗训练对损失曲面的塑造方式与标准训练有本质区别，锐度的变化不能仅用ST的框架来解释。对于关注泛化与鲁棒性关系的 practitioners，这提示需要针对AT单独设计锐度相关的正则化或早停策略。

边缘稳定性（Edge-of-Stability） 是近年发现的一种大步长GD训练现象：当步长超过经典稳定性阈值（步长×锐度 < 2）时，损失并非发散，而是锐度在临界值 2/步长 附近波动，训练在稳定边缘附近震荡并仍能收敛。这一现象在标准训练的全连接网络和Transformer中均有观察。本文发现AT中的锐度演化呈现两阶段动态，与ST中单一的边缘稳定性行为不同，说明对抗训练对损失曲面的塑造方式有本质区别，锐度变化不能仅用ST框架解释，需要针对AT单独设计锐度相关的正则化或早停策略。

小结

该研究系统刻画了大步长AT的GD动态，提出三点与ST的差异：隐式偏置差距持续存在、无统一收敛速率、锐度呈现两阶段动态。这些结果推进了对实际常用大步长下对抗训练行为的理论理解，也为AT的调参与鲁棒性分析提供了新的视角。