待验证50% 置信解决方案精确时间
Muon 实践中使用约5步 Newton-Schulz 迭代来近似矩阵符号函数，以降低精确 SVD 的计算开销
1
来源数
50%
置信度
长期有效
时效性
2026/9/21
首次发现
来源
涉及实体
相关事实
待验证完整雅可比矩阵的计算代价是O(m×n)次前向传播，实际应用中研究者通常采用随机化SVD或Lanczos迭代等算法近似计算其低秩分解65% 相似待验证LoRA 利用 SVD 的低秩近似原理，将大型权重矩阵的增量更新分解为两个低秩矩阵的乘积，从而将可训练参数量从数十亿压缩至数百万量级64% 相似待验证传统梯度下降方法（如SGD、Adam）要求目标函数可微且连续，在面对离散、非凸、多模态问题时容易陷入局部最优63% 相似待验证微积分（特别是多元微积分和链式法则）直接驱动梯度下降这一核心优化算法60% 相似待验证当ε≈1时，分母中的梯度二阶矩项被稀释，自适应缩放几乎不起作用，优化器行为接近纯粹的SGD59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/937868API
curl https://kongchang.com/api/v1/knowledge/claims/937868MCP
get_claim(id=937868)