待验证50% 置信事实精确时间

Adam维护两个指数移动平均：梯度的一阶矩（动量）和二阶矩（梯度平方）。

1

来源数

50%

置信度

长期有效

时效性

2026/10/17

首次发现

来源

从GD到Adam：一名AI工程师的优化器演进之旅

redditr/deeplearning2026/10/17

涉及实体

相关事实

已验证Adam 优化器结合了 Momentum 和 RMSProp 的优点，维护梯度的一阶矩估计和二阶矩估计的指数移动平均78% 相似已验证Adam结合了动量法与RMSprop的自适应学习率，对每个参数独立维护一阶和二阶梯度的滑动平均73% 相似待验证Adam优化器由Diederik Kingma和Jimmy Ba在2014年提出，需要维护一阶动量和二阶动量两份状态68% 相似待验证Adam在RMSProp基础上进一步引入一阶矩（动量），并增加了偏差修正机制65% 相似待验证低维重参数化会改变梯度流的形状，与 Adam 等自适应优化器的交互行为需要额外验证63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1053743

API

curl https://kongchang.com/api/v1/knowledge/claims/1053743

MCP

get_claim(id=1053743)