Unverified50% confidenceFactExact time
AdaGrad于2011年首次引入自适应学习率，对历史梯度平方累积归一化，但其分母单调递增会导致学习率趋近于零
1
Sources
50%
Confidence
Long-term
Relevance
7/19/2026
First Seen
Sources
Related Claims
UnverifiedRMSprop通过引入指数移动平均（EMA）解决了AdaGrad学习率趋零的缺陷68% similarUnverifiedfast.ai 的自顶向下方式将深度学习课程完课率从行业平均的10%以下提升到30%以上66% similarUnverifiedRMSProp用指数移动平均替代累积，解决了AdaGrad的学习率消失问题65% similarUnverifiedAdam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题63% similarUnverifiedAdam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/559018API
curl https://kongchang.com/api/v1/knowledge/claims/559018MCP
get_claim(id=559018)