Unverified50% confidenceFactExact time
AdaGrad于2011年首次引入自适应学习率，对历史梯度平方累积归一化，但其分母单调递增会导致学习率趋近于零
1
Sources
50%
Confidence
Long-term
Relevance
7/19/2026
First Seen
Sources
从零手写还是直接用sklearn？ML工程师学习路径完全指南
Related Claims
UnverifiedRMSprop通过引入指数移动平均（EMA）解决了AdaGrad学习率趋零的缺陷68% similarUnverifiedfast.ai 的自顶向下方式将深度学习课程完课率从行业平均的10%以下提升到30%以上66% similarUnverifiedRMSProp replaces accumulation with an exponential moving average, solving AdaGrad's vanishing learning rate problem.65% similarUnverifiedAdam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题63% similarUnverifiedAdam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/559018API
curl https://kongchang.com/api/v1/knowledge/claims/559018MCP
get_claim(id=559018)