概念Spectral Normalization
谱归一化
一种将矩阵按其最大奇异值缩放的技术，用于数值稳定性和正则化，常见于优化器和生成模型。
时间轴 (近 90 天)
11月2日
Muon-RT的处理流程为：对教师-学生位移去除径向分量，进行谱归一化，然后在Newton-Schulz正交化之后将其与当前梯度混合。
待验证50%
8月24日
Miyato等人提出的谱归一化通过将网络每层权重矩阵除以其最大奇异值，将每层Lipschitz常数控制在1
待验证50%
一种将矩阵按其最大奇异值缩放的技术，用于数值稳定性和正则化，常见于优化器和生成模型。
Muon-RT的处理流程为：对教师-学生位移去除径向分量，进行谱归一化，然后在Newton-Schulz正交化之后将其与当前梯度混合。
Miyato等人提出的谱归一化通过将网络每层权重矩阵除以其最大奇异值，将每层Lipschitz常数控制在1