待验证50% 置信事实精确时间
论文为一般齐次模型上的全批量Adam建立了一个损失衰减率，其主导阶仅依赖于第二矩参数。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证在 AdamW 中，参数更新量约等于一阶矩除以（二阶矩的平方根加 ε），二阶矩平方根的倒数扮演预条件子角色，为每个坐标自适应缩放梯度。71% 相似待验证先前研究表明，在齐次模型上，当学习率调度为强衰减形式 η(t) = o(t^{1/L-1}) 时，Adam被证明会收敛到最大化ℓ∞间隔的解。71% 相似待验证Adam的偏差校正通过对一阶矩和二阶矩分别除以 (1-β1^t) 和 (1-β2^t) 来修正，其中t是时间步，β1、β2是衰减率。70% 相似待验证梯度下降通过计算损失函数对模型参数的偏导数，沿梯度反方向更新参数以逼近损失函数最小值70% 相似待验证负载均衡损失的系数α通常取0.01左右，但具体值高度依赖模型规模和数据分布。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129597API
curl https://kongchang.com/api/v1/knowledge/claims/1129597MCP
get_claim(id=1129597)