待验证50% 置信事实精确时间

余弦退火（cosine decay）是一种将学习率按余弦函数曲线从初始值逐渐衰减至接近零的学习率调度策略

1

来源数

50%

置信度

长期有效

时效性

2026/9/26

首次发现

来源

纯NumPy手写MLP训练可视化工具：让神经网络内部一览无遗

涉及实体

余弦退火concept

相关事实

待验证余弦退火让学习率按余弦曲线平滑下降至接近零并周期性重启，被SGDR算法正式化67% 相似待验证表示坍缩指模型将所有输入映射到同一点或低维流形，使损失趋近于零但毫无意义，是自监督学习的核心挑战67% 相似待验证余弦退火学习率调度策略由Loshchilov和Hutter在2017年提出，让学习率按余弦函数从初始值平滑衰减至接近零66% 相似待验证梯度下降的参数更新规则为 θ_{t+1} = θ_t - η·∇L(θ_t)，其中η是学习率，沿负梯度方向更新参数可最快减小损失函数65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/952808

API

curl https://kongchang.com/api/v1/knowledge/claims/952808

MCP

get_claim(id=952808)