待验证50% 置信事实精确时间

梯度下降在众多能完美拟合训练集的解中天然倾向于选择更平坦、更简单的解，这一隐式正则化效应与泛化能力密切相关

1

来源数

50%

置信度

长期有效

时效性

2026/9/20

首次发现

来源

可视化神经网络学习：ReLU如何拟合任意函数

涉及实体

梯度下降concept 隐式正则化concept

相关事实

待验证Scaling Laws描述的是预训练损失的下降，而非所有下游能力的线性提升，部分能力如复杂推理呈现涌现特性77% 相似已验证梯度下降衍生出批量梯度下降、随机梯度下降和小批量梯度下降三种主要变体，Adam优化器是在动量与自适应学习率基础上的综合改进74% 相似待验证跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置74% 相似待验证重训存在明确取舍：在更干净的验证分布上部分极高分数出现轻微下降，以换取实战表现的提升74% 相似待验证批量梯度下降使用全部训练数据计算梯度，随机梯度下降每次只用一个样本，小批量梯度下降在两者之间取得平衡74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/936213

API

curl https://kongchang.com/api/v1/knowledge/claims/936213

MCP

get_claim(id=936213)