速率迁移

一篇最新研究提出了一种'速率迁移'方法，通过随机微分方程（SDE）的Lyapunov分析，将连续时间的稳定性估计直接转化为离散算法的有限时间收敛界。

该文所提的速率迁移不要求步长极小，而是在有限步长下量化SDE与SGD之间的偏差，从而得到非渐近收敛界。

对于带动量或自适应步长的随机算法，其SDE近似往往更容易进行Lyapunov分析，通过速率迁移这些连续时间的结果可以快速映射回离散算法。