概念SGD / Stochastic Gradient Descent

随机梯度下降

每次仅使用一个或少量样本（mini-batch）计算梯度并更新参数的梯度下降变体，相比全批量梯度下降更高效，适合大规模数据训练

核心事实

随机梯度下降（SGD）每次只用一个样本，速度快但更新方向噪声大

10月19日

对于随机梯度下降（SGD），该框架要么恢复、要么显著锐化作者所知的所有现有界限。

待验证50%

10月14日

论文研究的在线估计算法为单遍随机梯度算法，采用常数学习率 γ，递归形式为 θ_t = θ_{t-1} + γ * ψ(Y_t, θ_{t-1})，其中 ψ 是 Expectile 得分函数。

待验证50%

9月11日

随机梯度下降（SGD）每次只用一个样本，速度快但更新方向噪声大

已验证75%

9月7日

将AMP框架从全批量梯度下降推广到随机梯度下降（SGD）需要处理额外的采样随机性与数据复用偏差

待验证50%

随机梯度下降（SGD）每次只用一个样本，速度快但更新方向噪声大

对于随机梯度下降（SGD），该框架要么恢复、要么显著锐化作者所知的所有现有界限。

论文研究的在线估计算法为单遍随机梯度算法，采用常数学习率 γ，递归形式为 θ_t = θ_{t-1} + γ * ψ(Y_t, θ_{t-1})，其中 ψ 是 Expectile 得分函数。

将AMP框架从全批量梯度下降推广到随机梯度下降（SGD）需要处理额外的采样随机性与数据复用偏差