SGD
随机梯度下降（Stochastic Gradient Descent，SGD）是机器学习和深度学习中广泛使用的一种优化算法，用于最小化模型的损失函数。其核心思想是每次迭代从训练数据中随机采样一个或一小批样本（mini-batch）来估计梯度，并沿梯度反方向更新模型参数。SGD具有计算开销低、内存占用小的特点，适用于大规模数据训练，是神经网络训练的基础优化方法之一。
核心事实
时间轴 (近 90 天)
随机梯度下降（SGD）、动量法、Adam 等优化器都是在基本梯度下降框架上改进更新策略的变体。
速率迁移定理说明：若Lyapunov生成元不等式对系数$(b,\sigma)$成立，且SGD的更新算子与SDE系数满足一定的矩和光滑性匹配条件，则离散迭代的期望Lyapunov函数也以类似速率衰减，并给出显式的有限时间界。
SGD的迭代 $x_{k+1} = x_k - \eta \nabla f(x_k) + \eta \xi_k$ 在步长 $\eta \to 0$ 时，其轨迹可由一个SDE逼近：$dX_t = -\nabla f(X_t)\,dt + \sqrt{\eta}\,\Sigma\,dW_t$。
传统SGD分析将动量视为辅助变量或直接简化掉，忽略了动量状态自身作为递归变量携带的几何衰减记忆。
简单性偏好是神经网络的内在归纳偏好，SGD等优化算法的更新机制天然偏向先学习低频、简单的模式
当ε≈1时，分母中的梯度二阶矩项被稀释，自适应缩放几乎不起作用，优化器行为接近纯粹的SGD
在Symphony-S2项目的工作中，通过将ε从约等于1逐渐减小到约等于0，配合β₂的调控，优化器可以从SGD平滑地过渡到Adam
将AMP框架从全批量梯度下降推广到随机梯度下降（SGD）需要处理额外的采样随机性与数据复用偏差
实践中几乎没人使用原始的批量梯度下降，而是采用随机梯度下降（SGD）或小批量梯度下降（Mini-batch SGD）
梯度下降有批量梯度下降、随机梯度下降SGD和小批量梯度下降三种变体
还有 1 条时间轴事件
全部知识事实 (13)
Adam优化器于2014年提出，融合动量与自适应学习率，成为当今最广泛使用的优化器
80%已验证梯度下降有批量梯度下降、随机梯度下降SGD和小批量梯度下降三种变体
65%待验证Adam、RMSProp等自适应学习率优化器在SGD基础上进一步改进了收敛速度和稳定性
60%待验证小批量梯度下降（Mini-batch GD）是批量梯度下降和随机梯度下降的折中方案，也是工业界最常用的梯度下降方式
60%待验证随机梯度下降（SGD）、动量法、Adam 等优化器都是在基本梯度下降框架上改进更新策略的变体。
50%待验证速率迁移定理说明：若Lyapunov生成元不等式对系数$(b,\sigma)$成立，且SGD的更新算子与SDE系数满足一定的矩和光滑性匹配条件，则离散迭代的期望Lyapunov函数也以类似速率衰减，并给出显式的有限时间界。
50%待验证SGD的迭代 $x_{k+1} = x_k - \eta \nabla f(x_k) + \eta \xi_k$ 在步长 $\eta \to 0$ 时，其轨迹可由一个SDE逼近：$dX_t = -\nabla f(X_t)\,dt + \sqrt{\eta}\,\Sigma\,dW_t$。
50%待验证传统SGD分析将动量视为辅助变量或直接简化掉，忽略了动量状态自身作为递归变量携带的几何衰减记忆。
50%待验证简单性偏好是神经网络的内在归纳偏好，SGD等优化算法的更新机制天然偏向先学习低频、简单的模式
50%待验证在Symphony-S2项目的工作中，通过将ε从约等于1逐渐减小到约等于0，配合β₂的调控，优化器可以从SGD平滑地过渡到Adam
50%待验证当ε≈1时，分母中的梯度二阶矩项被稀释，自适应缩放几乎不起作用，优化器行为接近纯粹的SGD
50%待验证将AMP框架从全批量梯度下降推广到随机梯度下降（SGD）需要处理额外的采样随机性与数据复用偏差
50%待验证实践中几乎没人使用原始的批量梯度下降，而是采用随机梯度下降（SGD）或小批量梯度下降（Mini-batch SGD）
50%