概念online SGD / Online Stochastic Gradient Descent
在线随机梯度下降
一种每次仅使用一个或一小批样本计算梯度并更新参数的优化算法,在训练过程中不断接收新样本,其连续时间极限可由常微分方程描述
时间轴 (近 90 天)
10月22日
该理论研究通过教师-学生模型,在特征维度D趋于无穷的极限下,推导出精确描述学生网络学习动力学的常微分方程。
待验证50%
10月22日
在线随机梯度下降(online SGD)在教师-学生模型中,当学习率趋于零时,其连续时间极限由一组常微分方程描述。
待验证50%