概念Hadamard矩阵旋转
Hadamard旋转
一种数据无关的固定正交变换方法,基于Hadamard矩阵,计算简单且无需校准数据,但对具体模型的激活分布不敏感,是SpectrumQuant谱对齐框架下的一个特例
时间轴 (近 90 天)
10月15日
现有正交变换方法大致分两类:数据无关的固定变换(如Hadamard旋转)和校准阶段学习出来的旋转矩阵(如SpinQuant和DartQuant)。
待验证50%
一种数据无关的固定正交变换方法,基于Hadamard矩阵,计算简单且无需校准数据,但对具体模型的激活分布不敏感,是SpectrumQuant谱对齐框架下的一个特例
现有正交变换方法大致分两类:数据无关的固定变换(如Hadamard旋转)和校准阶段学习出来的旋转矩阵(如SpinQuant和DartQuant)。