待验证50% 置信事实精确时间
在线随机梯度下降（online SGD）在教师-学生模型中，当学习率趋于零时，其连续时间极限由一组常微分方程描述。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
待验证实践中几乎没人使用原始的批量梯度下降，而是采用随机梯度下降（SGD）或小批量梯度下降（Mini-batch SGD）64% 相似待验证知识蒸馏让学生网络学习教师网络输出的软概率分布，使学生模型在参数量缩减10倍以上的情况下保留核心推理能力63% 相似待验证该分离结果与近年来在线学习、在线凸优化中一系列计算下界工作相呼应，印证了“统计最优未必计算可行”的普遍现象。63% 相似待验证学习率平方根缩放公式为：学习率乘以sqrt(M/N)；从10个环境扩展到1000个时，学习率调整为0.0003 * sqrt(100) = 0.003，但这在ML-Agents中可能过于激进，建议从1.5-2倍开始尝试。61% 相似待验证Student's t 分布是一种重尾分布，其尾部衰减比高斯分布更慢，对异常值更鲁棒60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1083918API
curl https://kongchang.com/api/v1/knowledge/claims/1083918MCP
get_claim(id=1083918)