待验证90% 置信事实时间未知

AdaGrad通过累积历史梯度平方实现自适应，但会导致学习率单调递减直至停止更新

1

来源数

90%

置信度

长期有效

时效性

2026/5/31

首次发现

来源

Adam优化器深度拆解：一文搞懂自适应矩估计原理

bilibili深度学习自习室

涉及实体

相关事实

已验证艾宾浩斯遗忘曲线揭示记忆强度随时间呈指数级衰减，通过间隔重复可延缓这一过程67% 相似待验证梯度下降衍生出批量梯度下降、随机梯度下降和小批量梯度下降三种主要变体，Adam优化器是在动量与自适应学习率基础上的综合改进65% 相似待验证梯度下降的收敛条件与学习率和损失函数的Lipschitz常数的关系有关65% 相似待验证余弦退火让学习率按余弦曲线平滑下降至接近零并周期性重启，被SGDR算法正式化64% 相似待验证梯度下降的权重更新规则为 w = w - lr * gradient，其中lr是学习率64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/7718

API

curl https://kongchang.com/api/v1/knowledge/claims/7718

MCP

get_claim(id=7718)