SpectrumQuant

SpectrumQuant是一种利用校准数据以闭式解构造协方差感知正交变换的LLM量化方法，无需梯度下降或迭代优化。

SpectrumQuant的核心理论发现是：最大化激活协方差会导致谱对齐（spectral alignment），这为构造量化友好的正交变换提供了判据。

在SpectrumQuant的理论框架中，量化友好的旋转可分解为对齐分量和混合分量，经典Hadamard矩阵是该框架的一个特例，一类butterfly矩阵也属于该范畴。

SpectrumQuant在Llama和Mistral系列模型上进行了实验，效果与当前最先进的旋转策略相当（competitive）。

SpectrumQuant的GPU显存需求不到学习型旋转方法（如SpinQuant）的三分之一，时间开销也显著更少。

SpectrumQuant填补了数据无关结构化旋转和学习型旋转之间的空白，既是数据感知的（利用校准数据估计协方差），又是高效的（闭式解，无需优化）。

论文目前只在Llama和Mistral上验证SpectrumQuant，更广泛的模型架构和量化配置下的表现尚需进一步观察。

SpectrumQuant提供了一个不需要像SpinQuant那样跑完整优化流程、却能获得接近效果的PTQ部署选项。

从方法论角度看，SpectrumQuant给出了'什么是好的量化旋转'这一问题的理论回答，可能启发更多高效量化方法的设计。