Unverified90% confidenceFactTime unknown
Adam的二阶矩估计记录梯度平方的指数移动平均，反映梯度的波动幅度
1
Sources
90%
Confidence
Long-term
Relevance
5/31/2026
First Seen
Sources
Adam优化器深度拆解：一文搞懂自适应矩估计原理
bilibili深度学习自习室
Related Entities
Related Claims
UnverifiedAdam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题65% similarUnverifiedAdam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题59% similarUnverifiedAdam的一阶矩衰减系数β₁通常默认为0.956% similarUnverifiedAdam 优化器的内存开销是 SGD 的三倍，这一代价催生了 Adafactor、8-bit Adam 等低内存优化器变体56% similarUnverified推理计算占比预计将达到AI总算力的三分之二54% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/7725API
curl https://kongchang.com/api/v1/knowledge/claims/7725MCP
get_claim(id=7725)