Unverified90% confidenceFactTime unknown
Adam在RMSProp基础上进一步引入一阶矩（动量），并增加了偏差修正机制
1
Sources
90%
Confidence
Long-term
Relevance
5/31/2026
First Seen
Sources
Adam优化器深度拆解：一文搞懂自适应矩估计原理
bilibili深度学习自习室
Related Entities
Related Claims
VerifiedAdam结合了动量法与RMSprop的自适应学习率，对每个参数独立维护一阶和二阶梯度的滑动平均75% similarVerifiedAdam 优化器结合了 Momentum 和 RMSProp 的优点，维护梯度的一阶矩估计和二阶矩估计的指数移动平均72% similarUnverifiedAdam优化器由Diederik Kingma和Jimmy Ba在2014年提出，需要维护一阶动量和二阶动量两份状态63% similarUnverifiedAdamW引入权重衰减解耦，Lion基于符号动量且显存更低62% similarUnverified梯度下降及其变体（Adam、AdaGrad等）本质上是数值优化算法60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/7722API
curl https://kongchang.com/api/v1/knowledge/claims/7722MCP
get_claim(id=7722)