概念GS投影 / Gram-Schmidt正交化
Gram-Schmidt投影
一种线性代数中的正交化方法,用于将向量投影到正交基上,在优化器中可用于移除更新方向的径向分量。
时间轴 (近 90 天)
10月28日
MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量,而不固定权重范数。
待验证50%
一种线性代数中的正交化方法,用于将向量投影到正交基上,在优化器中可用于移除更新方向的径向分量。
MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量,而不固定权重范数。