Unverified50% confidenceSolutionExact time
ZGCM-1使用稳定的FP8 Muon优化器,将Muon优化器与FP8低精度训练结合并保持训练稳定
1
Sources
50%
Confidence
Long-term
Relevance
9/15/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedMUON优化器替代了沿用多年的AdamW优化器,通过引入矩阵正交化步骤使训练曲线更加平滑66% similarUnverified借助 FP8 混合精度,MoE 中的专家前馈计算可在降低显存占用和带宽压力的同时保持训练稳定性64% similarUnverifiedZGCM-1公开了预训练、中期训练、后训练三个阶段的模型权重、中间检查点、完整训练代码、数据与数据配方及W&B训练日志62% similarUnverified论文称ZGCM-1在16K上下文的预训练中相比基线实现约4.2倍的time-to-loss效率提升61% similarUnverified深度学习训练的梯度同步瓶颈使得低耦合任务(如批量推理、超参数搜索、渲染)更适合P2P架构,而分布式训练不适合60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/921653API
curl https://kongchang.com/api/v1/knowledge/claims/921653MCP
get_claim(id=921653)