待验证50% 置信事实精确时间

MuonW和MuonH优化器在给定条件下能够保证至少线性的累积有效学习率增长。

1

来源数

50%

置信度

长期有效

时效性

2026/10/28

首次发现

来源

MuonGS：放宽权重范数控制，加速LLM预训练

涉及实体

MuonWmodel MuonHmodel

相关事实

待验证LISCO（学习型约束优化迭代求解器）学习预测原始-对偶步长，逐步逼近满足KKT最优性条件的解，而非直接预测最终控制量68% 相似待验证MUON优化器最早在Kimi模型中得到验证66% 相似待验证Himanshu指出LLM推理管线的最大优势在于可微分，可用强化学习优化，但无法学习代数构造63% 相似待验证累积有效学习率C_T = Σ_{t<T} η_t / ||W_t||_F 将权重范数控制与优化器的探索能力联系起来。62% 相似待验证另一种可能是依赖具备持续学习能力的模型，使其能够有意义地经历一个本体论发展过程。62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1105997

API

curl https://kongchang.com/api/v1/knowledge/claims/1105997

MCP

get_claim(id=1105997)