待验证50% 置信解决方案精确时间

在Symphony-S2项目的工作中，通过将ε从约等于1逐渐减小到约等于0，配合β₂的调控，优化器可以从SGD平滑地过渡到Adam

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

从SGD到Adam：用ε参数实现优化器平滑过渡

涉及实体

Symphony-S2product SGDconcept Adamconcept epsilon参数concept

相关事实

待验证任务的输出熵越低（答案越可预测），推测性解码的加速效益越显著；GSM8K接受率从位置0的0.92衰减至0.53，MTBench从0.78急跌至0.1361% 相似待验证Adam的一阶矩衰减系数β₁通常默认为0.960% 相似待验证当ε≈0时，二阶矩估计完全主导，优化器恢复为标准的Adam59% 相似待验证Focal Loss在标准交叉熵损失前添加调制因子(1-p_t)^γ，γ通常设为2，使模型聚焦于困难样本58% 相似待验证小批量SGD通常选择32、64、128等批量大小，是纯随机梯度下降和全批量梯度下降的折中方案57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/914985

API

curl https://kongchang.com/api/v1/knowledge/claims/914985

MCP

get_claim(id=914985)