待验证50% 置信事实精确时间
Muon-RT通过复用EMA教师与学生模型之间的参数位移来替代独立动量缓冲，从而消除隐藏权重矩阵的动量缓冲，实现更省内存的自蒸馏训练。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证自蒸馏中，如果教师是学生策略的EMA或同步变体，学生的每次更新都会改变教师，导致目标信号漂移，训练变成追逐移动靶。70% 相似待验证延迟解耦(Delayed Untying)的核心思想是：训练前2/3阶段将embed与lm_head绑定共享，到达某个节点后复制权重和优化器状态，然后让二者作为独立参数分别训练70% 相似待验证论文提出了一种名为MuonGS的优化器方法，通过放宽权重范数控制来加速LLM预训练。68% 相似待验证DINO、MoCo v3 等自监督视觉表征学习方法均采用了 EMA 教师机制，并证明其对防止训练崩塌有显著作用68% 相似待验证解耦指数移动平均（D-EMA）采用可配置的分组平均策略，对干扰敏感的预训练参数施加约束，同时为其他参数保留灵活性。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125150API
curl https://kongchang.com/api/v1/knowledge/claims/1125150MCP
get_claim(id=1125150)