[控场AI]
概念online SGD / Online Stochastic Gradient Descent

在线随机梯度下降

一种每次仅使用一个或一小批样本计算梯度并更新参数的优化算法,在训练过程中不断接收新样本,其连续时间极限可由常微分方程描述

时间轴 (近 90 天)

10月22日

该理论研究通过教师-学生模型,在特征维度D趋于无穷的极限下,推导出精确描述学生网络学习动力学的常微分方程。

待验证50%
10月22日

在线随机梯度下降(online SGD)在教师-学生模型中,当学习率趋于零时,其连续时间极限由一组常微分方程描述。

待验证50%

全部知识事实 (2)

来源文章