待验证50% 置信事实精确时间
理论分析表明,在MuonGS下,经过t步后权重范数最多按√t的比例增长,保证累积有效学习率C_T = Ω(√T)。
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
涉及实体
相关事实
待验证学习率平方根缩放公式为:学习率乘以sqrt(M/N);从10个环境扩展到1000个时,学习率调整为0.0003 * sqrt(100) = 0.003,但这在ML-Agents中可能过于激进,建议从1.5-2倍开始尝试。66% 相似待验证当T=1时输出为标准softmax分布,T>1时概率分布趋于均匀,温度越高输出分布越平缓,学生模型捕捉的细粒度信息越多63% 相似待验证在鲁棒回归中将似然函数从高斯替换为 t 分布,等价于降低离群点权重,因为 t 分布的对数似然对极端值的惩罚增长更缓慢62% 相似待验证Chinchilla scaling law给出的经验法则是训练token数约为参数量的20倍61% 相似待验证在密集模型上,与MuonH相比,MuonGS在匹配验证损失时估计可获得约15%的token等效加速。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1105999API
curl https://kongchang.com/api/v1/knowledge/claims/1105999MCP
get_claim(id=1105999)