梯度下降
机器学习中的参数优化方法，通过沿损失函数梯度反方向迭代调整权重，使模型预测误差逐步收敛至最小值
核心事实
时间轴 (近 90 天)
在神经网络中，参数通过梯度下降共同编码多个任务的知识，当模型在新任务上训练时，梯度更新会大幅改变对旧任务至关重要的权重，而旧任务数据不再出现，导致模型逐渐忘记旧任务。
传统学习算法分析通常假设每一刻、每个突触都能获得准确梯度信息。
算法通过欧几里得球面上的类梯度下降更新来改进隐藏权重向量的估计。
一阶泰勒展开对应梯度下降的线性近似，二阶展开引入曲率信息对应牛顿法等二阶优化方法。
用两个 Sigmoid 相减构造凸起，与用两个 Heaviside 阶跃函数相减得到矩形窗的经典信号处理思想一致，但 Sigmoid 提供了平滑可导的版本，使基于梯度的训练成为可能。
普通梯度下降（GD）面临学习率敏感、收敛慢的问题。
松弛后的背包问题是线性规划，本身是凸的、有全局最优；但一旦通过sigmoid等非线性参数化改写变量，或加入非凸的正则项，优化景观就不再是凸的，梯度下降可能停在局部最优。
梯度下降通常归功于 Cauchy 在 1847 年提出。
梯度下降沿损失函数梯度的反方向更新参数，参数更新公式通常为 w ← w − η·∂L/∂w，其中 η 是学习率。
过参数化网络虽然容量足以记住随机标签，但梯度下降的隐式正则化偏向于先学习简单、一致的规律。
还有 32 条时间轴事件
全部知识事实 (20)
梯度下降的学习率过大会导致参数在最优解附近震荡甚至发散，过小则收敛速度极慢
80%已验证梯度下降通过沿着损失函数梯度的反方向迭代调整权重使预测误差逐步收敛
80%已验证反向传播的本质是链式求导，损失函数对每一层参数的梯度从输出层向输入层逐层传递，前提是损失函数必须存在且可微
80%已验证训练模型的核心过程是通过梯度下降法沿着损失函数的梯度方向迭代更新参数
75%已验证灾难性遗忘是神经网络领域的经典难题，早在1990年代研究者就发现神经网络在新任务上持续训练时旧任务性能会急剧下降
75%已验证梯度下降通过迭代公式 θ = θ - α∇J(θ) 更新参数，其中α是学习率，∇J(θ)是损失函数对参数的偏导数向量
70%已验证梯度下降是机器学习中最核心的优化算法，学习率过大会导致震荡、过小则收敛缓慢
70%已验证机器学习通过损失函数衡量预测值与真实标签的差距，再使用梯度下降等优化算法逐步调整模型参数以减小误差
65%已验证梯度下降有批量梯度下降、随机梯度下降SGD和小批量梯度下降三种变体
65%已验证梯度下降是深度学习中最核心的优化算法，其数学本质是沿着损失函数的负梯度方向迭代更新参数
65%已验证学习率决定每步迈多大，太大会越过谷底导致发散，太小则耗时极长
65%已验证梯度下降衍生出批量梯度下降、随机梯度下降和小批量梯度下降三种主要变体，Adam优化器是在动量与自适应学习率基础上的综合改进
65%待验证普适逼近定理是一个纯粹的存在性结论，保证逼近方案存在但对所需神经元数量没有给出紧致的上界
70%待验证梯度下降的参数更新规则为 θ_{t+1} = θ_t - η·∇L(θ_t)，其中η是学习率，沿负梯度方向更新参数可最快减小损失函数
60%待验证梯度下降在数学上涉及偏微分和链式法则，其直觉本质是一种寻找最低点的「下山」过程
60%待验证在神经网络中，参数通过梯度下降共同编码多个任务的知识，当模型在新任务上训练时，梯度更新会大幅改变对旧任务至关重要的权重，而旧任务数据不再出现，导致模型逐渐忘记旧任务。
50%待验证传统学习算法分析通常假设每一刻、每个突触都能获得准确梯度信息。
50%待验证算法通过欧几里得球面上的类梯度下降更新来改进隐藏权重向量的估计。
50%待验证一阶泰勒展开对应梯度下降的线性近似，二阶展开引入曲率信息对应牛顿法等二阶优化方法。
50%待验证用两个 Sigmoid 相减构造凸起，与用两个 Heaviside 阶跃函数相减得到矩形窗的经典信号处理思想一致，但 Sigmoid 提供了平滑可导的版本，使基于梯度的训练成为可能。
50%