梯度下降
机器学习中的参数优化方法，通过沿损失函数梯度反方向迭代调整权重，使模型预测误差逐步收敛至最小值
核心事实
时间轴 (近 90 天)
Voodoo Quant 的核心方法是用梯度下降来优化逐张量的量化布局
用梯度下降优化量化布局需要比静态分析强大得多的算力系统（对 GPU 依赖更高）
线性回归的梯度下降框架可迁移到逻辑回归、神经网络等更复杂模型
MSE损失函数对参数W的偏导为 ∂L/∂W = (2/n) * Xᵀ(XW - y)，对b的偏导为 ∂L/∂b = (2/n) * Σ(y_pred - y)
线性回归的损失曲线呈凸碗形，凸性保证优化存在唯一的全局最小值，梯度下降不会陷入局部最优
逻辑回归的损失函数是凸函数，梯度下降一定能收敛到全局最优解
梯度下降是机器学习中最核心的优化算法
训练模型的核心过程是通过梯度下降法沿着损失函数的梯度方向迭代更新参数
Greenblatt提出AI承受的优化压力在量级上远远超过人类，现代AI系统会经历数以亿计的训练回合，梯度下降会强化任何能获得更高奖励的行为
机器学习通过损失函数衡量预测值与真实标签的差距，再使用梯度下降等优化算法逐步调整模型参数以减小误差
还有 14 条时间轴事件
全部知识事实 (20)
梯度下降是深度学习中最核心的优化算法，其数学本质是沿着损失函数的负梯度方向迭代更新参数
65%已验证梯度下降通过沿着损失函数梯度的反方向迭代调整权重使预测误差逐步收敛
65%待验证用梯度下降优化量化布局需要比静态分析强大得多的算力系统（对 GPU 依赖更高）
50%待验证Voodoo Quant 的核心方法是用梯度下降来优化逐张量的量化布局
50%待验证线性回归的梯度下降框架可迁移到逻辑回归、神经网络等更复杂模型
50%待验证MSE损失函数对参数W的偏导为 ∂L/∂W = (2/n) * Xᵀ(XW - y)，对b的偏导为 ∂L/∂b = (2/n) * Σ(y_pred - y)
50%待验证线性回归的损失曲线呈凸碗形，凸性保证优化存在唯一的全局最小值，梯度下降不会陷入局部最优
50%待验证逻辑回归的损失函数是凸函数，梯度下降一定能收敛到全局最优解
50%待验证梯度下降是机器学习中最核心的优化算法
50%待验证训练模型的核心过程是通过梯度下降法沿着损失函数的梯度方向迭代更新参数
50%待验证Greenblatt提出AI承受的优化压力在量级上远远超过人类，现代AI系统会经历数以亿计的训练回合，梯度下降会强化任何能获得更高奖励的行为
50%待验证机器学习通过损失函数衡量预测值与真实标签的差距，再使用梯度下降等优化算法逐步调整模型参数以减小误差
50%待验证微积分中的梯度、导数概念是理解优化算法（如梯度下降）的必备工具
50%待验证梯度下降是神经网络学习的核心优化算法，学习率控制每一步的步幅大小
50%待验证机器学习的核心算法深度依赖数学直觉，梯度下降算法依赖偏导数确定参数更新方向，反向传播本质上是链式法则的系统化应用
50%待验证梯度下降通过计算损失函数对模型参数的偏导数，沿梯度反方向更新参数以逼近损失函数最小值
50%待验证微积分（特别是多元微积分和链式法则）直接驱动梯度下降这一核心优化算法
50%待验证梯度下降的参数更新规则为 θ_{t+1} = θ_t - η·∇L(θ_t)，其中η是学习率，沿负梯度方向更新参数可最快减小损失函数
50%待验证梯度下降通过迭代公式 θ = θ - α∇J(θ) 更新参数，其中α是学习率，∇J(θ)是损失函数对参数的偏导数向量
50%待验证梯度下降在数学上涉及偏微分和链式法则，其直觉本质是一种寻找最低点的「下山」过程
50%