[控场AI]
概念Gradient Flow / 梯度流ODE

梯度流

将神经网络训练过程理解为连续动力系统的数学框架，把离散梯度下降在学习率趋近于零时的极限表示为常微分方程 dθ/dt = −∇L(θ)，为分析训练动力学提供理论工具

时间轴 (近 90 天)

10月15日

对于有限步长，即使驻点在连续时间梯度流下不稳定，若步长过大可能跳过逃逸方向导致数值发散，若步长过小则逃逸时间可能指数级增长而看似停滞。

待验证50%
10月8日

论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价

待验证50%
10月8日

论文分析了更一般的停止时间和支撑在多个球谐阶数上的目标函数两种扩展情形

待验证50%
10月8日

标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)

待验证50%

全部知识事实 (4)

待验证

对于有限步长，即使驻点在连续时间梯度流下不稳定，若步长过大可能跳过逃逸方向导致数值发散，若步长过小则逃逸时间可能指数级增长而看似停滞。

50%待验证

论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价

50%待验证

论文分析了更一般的停止时间和支撑在多个球谐阶数上的目标函数两种扩展情形

50%待验证

标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)

50%

来源文章

过参数化加权MMD优化景观首获有限粒子保证10月15日Wasserstein空间信赖域优化：非凸能量最小化的二阶方法10月8日刚性微分方程求解器能加速神经网络训练吗？10月8日