Adam优化器的隐式偏置取决于学习率调度：新研究揭示

在深度学习优化领域，Adam优化器因其自适应学习率而广受欢迎，但其隐式偏置（implicit bias）的机制一直存在争议。最近一篇论文《Watch Your Step: Adam's Margin Maximization Bias Depends on the Learning Rate Schedule》深入探讨了Adam在齐次模型二分类任务中的隐式偏置，并揭示了一个关键发现：Adam的隐式偏置强烈依赖于学习率调度。这一结果挑战了此前关于Adam总是倾向于最大化ℓ∞间隔（margin）的认知。

背景：Adam与符号梯度下降的相似性

先前的研究表明，在齐次模型（homogeneous models）上，Adam的行为类似于符号梯度下降（sign gradient descent），并展现出ℓ∞间隔最大化的隐式偏置。具体来说，当学习率调度为强衰减（strongly decaying）形式，即 η(t) = o(t^{1/L-1})，其中 L 为齐次度（homogeneity degree）时，Adam被证明会收敛到最大化ℓ∞间隔的解。然而，这类强衰减调度在实际应用中并不常见；更常见的是常数学习率或弱衰减调度（如多项式衰减 t^α）。

本论文聚焦于这一更常见的补充区域，即常数和弱衰减学习率调度，并得出了与先前工作截然不同的结论。

齐次模型（homogeneous models） 是指满足 (f(c\mathbf{w}) = c^L f(\mathbf{w})) 对任意标量 (c>0) 成立的模型，其中 (L) 称为齐次度。常见的深度线性网络和 ReLU 网络（忽略偏置项）均具有此性质。齐次性使得损失函数的尺度变换行为可预测，从而便于分析优化器隐式偏置的渐近方向。例如，对于 (L)-齐次模型，梯度满足 (\nabla f(c\mathbf{w}) = c^{L-1} \nabla f(\mathbf{w}))，这一性质在分析 Adam 的预条件器极限行为时起到关键作用。

核心发现：无轨迹独立的间隔最大化偏置

对于多项式调度 η(t) = t^α 和齐次度 L，论文证明：当 α > 1/L - 1/2 时，Adam在深度线性网络中不存在轨迹独立（trajectory-independent）的间隔最大化偏置（在KKT意义上）。具体而言：

• 首先，在此设置下不存在非平凡的、局部Lipschitz的凸隐式正则化器（implicit regularizer），包括任何平方范数。
• 其次，在宽度为1的网络（width-1 networks）上，该结果无需凸性假设也成立，这意味着对于宽网络（wide networks）的任何隐式正则化器，当限制在宽度1网络上时必须是平凡的（trivial）。

这一发现表明，在常见的弱衰减调度下，Adam并不会像强衰减调度那样驱动模型走向最大间隔解。相反，其隐式偏置是轨迹依赖的（trajectory-dependent）。

隐式正则化器（implicit regularizer） 是优化算法在训练过程中隐式最小化的某种范数或函数，它决定了算法最终偏好哪类解。若优化器存在一个轨迹独立的隐式正则化器 (R(\mathbf{w}))，则其收敛解可视为在零训练损失约束下最小化 (R(\mathbf{w})) 的解，与初始化无关。相反，若隐式偏置是轨迹依赖的，则最终解的方向会随初始化或优化路径变化。论文证明在弱衰减调度下，Adam 不存在非平凡的局部 Lipschitz 凸隐式正则化器，这意味着无法用一个固定的凸函数来刻画其偏好，从而挑战了“Adam 总是最大化间隔”的简单图景。

正面刻画：轨迹依赖的加权ℓ2间隔最大化

尽管没有轨迹独立的间隔最大化偏置，论文仍然对Adam的隐式偏置进行了正面刻画：在该区域，对于任何L-齐次模型，Adam会最大化一个轨迹依赖的加权ℓ2间隔（trajectory-dependent weighted-ℓ2 margin）。这一机制背后的根本原因是Adam的预条件器（preconditioner）收敛到一个轨迹依赖的向量，这也解释了为什么极限参数方向依赖于初始化。

换句话说，Adam的隐式偏置并非固定不变，而是随着优化轨迹和初始化而变化。这为理解Adam的行为提供了更细致的视角。

预条件器（preconditioner） 在 Adam 中体现为二阶矩估计的平方根 (\sqrt{\mathbf{v}_t})，它逐坐标缩放梯度。在强衰减调度下，预条件器会收敛到一个固定向量（如全1向量），从而诱导 ℓ∞ 间隔最大化；而在常数或弱衰减调度下，预条件器收敛到一个依赖于轨迹和初始化的向量，导致加权 ℓ2 间隔中的权重也是轨迹依赖的。这种预条件器的极限行为是理解 Adam 隐式偏置随调度变化的核心机制。

中间区域：条件性的ℓ∞偏置

在中间区域 1/L - 1 ≤ α ≤ 1/L - 1/2，论文证明了一个ℓ∞偏置，但这一结论依赖于梯度方向收敛到满支撑向量（full-support vector）的条件。这表明，随着学习率衰减速度的不同，Adam的隐式偏置会从轨迹依赖的加权ℓ2间隔最大化过渡到ℓ∞间隔最大化，但后者需要额外的条件。

独立贡献：全批量Adam的损失衰减率

作为一项独立有趣的贡献，论文还为一般齐次模型上的全批量Adam（full batch Adam）建立了一个损失衰减率（loss decay rate），其主导阶（leading order）仅依赖于第二矩参数（second-moment parameter）。这一结果有助于理解Adam在训练过程中的收敛行为，并为后续研究提供了理论工具。

实践启示与总结

这项研究提醒我们，学习率调度的选择不仅影响收敛速度，还深刻影响优化器所诱导的隐式偏置。对于实践者而言，在使用Adam时，若采用常数或弱衰减学习率，不应期望模型自动趋向最大间隔解；相反，其解的性质可能更依赖于初始化 and 训练轨迹。这一发现对于理解深度学习的泛化性能很关键，也为优化算法的设计提供了新的理论依据。

未来工作可以进一步探索其他优化器（如AdaGrad、RMSProp）在不同学习率调度下的隐式偏置，以及这些理论结果在更复杂模型（如卷积网络、Transformer）中的表现。