待验证50% 置信事实精确时间

余弦退火学习率调度策略由Loshchilov和Hutter在2017年提出，让学习率按余弦函数从初始值平滑衰减至接近零

1

来源数

50%

置信度

长期有效

时效性

2026/9/1

首次发现

来源

595K参数实现51%准确率：原型网络轻量化与可解释性实践

涉及实体

Cosine Annealingconcept Loshchilovperson Hutterperson

相关事实

待验证余弦退火让学习率按余弦曲线平滑下降至接近零并周期性重启，被SGDR算法正式化77% 相似待验证梯度下降的收敛条件与学习率和损失函数的Lipschitz常数的关系有关72% 相似待验证梯度下降的权重更新规则为 w = w - lr * gradient，其中lr是学习率68% 相似待验证梯度下降的参数更新规则为 θ_{t+1} = θ_t - η·∇L(θ_t)，其中η是学习率，沿负梯度方向更新参数可最快减小损失函数66% 相似待验证75倍嵌入学习率是一种保持矩阵不绑定、通过放大嵌入层学习率补偿稀疏更新的可行工程手段，但过高学习率可能导致嵌入空间不稳定震荡64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/837582

API

curl https://kongchang.com/api/v1/knowledge/claims/837582

MCP

get_claim(id=837582)