待验证90% 置信事实时间未知

Adam的二阶矩估计记录梯度平方的指数移动平均，反映梯度的波动幅度

1

来源数

90%

置信度

长期有效

时效性

2026/5/31

首次发现

来源

Adam优化器深度拆解：一文搞懂自适应矩估计原理

bilibili深度学习自习室

涉及实体

相关事实

待验证Adam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题65% 相似待验证Adam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题59% 相似待验证Adam的一阶矩衰减系数β₁通常默认为0.956% 相似待验证Adam 优化器的内存开销是 SGD 的三倍，这一代价催生了 Adafactor、8-bit Adam 等低内存优化器变体56% 相似待验证推理计算占比预计将达到AI总算力的三分之二54% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/7725

API

curl https://kongchang.com/api/v1/knowledge/claims/7725

MCP

get_claim(id=7725)