[控场AI]
概念GS投影 / Gram-Schmidt正交化

Gram-Schmidt投影

一种线性代数中的正交化方法,用于将向量投影到正交基上,在优化器中可用于移除更新方向的径向分量。

时间轴 (近 90 天)

10月28日

MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量,而不固定权重范数。

待验证50%

全部知识事实 (1)

来源文章