待验证50% 置信事实精确时间

AdaGrad于2011年首次引入自适应学习率，对历史梯度平方累积归一化，但其分母单调递增会导致学习率趋近于零

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

从零手写还是直接用sklearn？ML工程师学习路径完全指南

相关事实

待验证RMSprop通过引入指数移动平均（EMA）解决了AdaGrad学习率趋零的缺陷68% 相似待验证fast.ai 的自顶向下方式将深度学习课程完课率从行业平均的10%以下提升到30%以上66% 相似待验证RMSProp用指数移动平均替代累积，解决了AdaGrad的学习率消失问题65% 相似待验证Adam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题63% 相似待验证Adam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/559018

API

curl https://kongchang.com/api/v1/knowledge/claims/559018

MCP

get_claim(id=559018)