待验证50% 置信解决方案精确时间

当ε≈0时，二阶矩估计完全主导，优化器恢复为标准的Adam

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

从SGD到Adam：用ε参数实现优化器平滑过渡

涉及实体

Adamconcept epsilon参数concept

相关事实

待验证Adam的一阶矩衰减系数β₁通常默认为0.973% 相似待验证Adam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题70% 相似待验证Adam的二阶矩估计记录梯度平方的指数移动平均，反映梯度的波动幅度68% 相似待验证从零实现 Adam 需要处理偏差校正（bias correction），因为初始阶段 m 和 v 被初始化为零导致估计偏低66% 相似待验证Adam 优化器的内存开销是 SGD 的三倍，这一代价催生了 Adafactor、8-bit Adam 等低内存优化器变体65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/914988

API

curl https://kongchang.com/api/v1/knowledge/claims/914988

MCP

get_claim(id=914988)