概念polar factor / 矩阵梯度正交化
极因子
矩阵极分解中对应的列正交(或等距)矩阵因子,可由奇异值分解得到,几何上相当于将所有奇异值统一缩放为1,保留方向信息
时间轴 (近 90 天)
10月16日
Muon优化器用近似的极因子(polar factor)替代传统的矩阵梯度更新。
待验证50%
矩阵极分解中对应的列正交(或等距)矩阵因子,可由奇异值分解得到,几何上相当于将所有奇异值统一缩放为1,保留方向信息
Muon优化器用近似的极因子(polar factor)替代传统的矩阵梯度更新。