SpectrumQuant：谱对齐让LLM量化更省显存

大语言模型的低比特量化一直是部署环节的硬骨头。激活值分布中的离群点会让简单的舍入操作产生巨大误差，而正交变换被视为一种有效的"软化"手段——它不改变模型函数本身，只是重新塑造激活值的分布形态，让量化更友好。

SpectrumQuant论文标题

两条路线，各有代价

现有正交变换方法大致分两类。一类是数据无关的固定变换，比如Hadamard旋转，计算简单、无需校准数据，但对具体模型的激活分布并不敏感。另一类是校准阶段学习出来的旋转矩阵，比如SpinQuant和DartQuant，效果更好，却需要额外的优化过程，GPU显存和时间开销都不低。

据论文描述，SpinQuant和DartQuant这类学习型旋转方法在量化前需要反复迭代优化旋转矩阵，显存占用高、耗时长。这在实际部署中是个不小的负担——尤其是当你想在有限硬件上快速完成量化时。

有没有一种方法，既能利用校准数据的信息，又不需要昂贵的优化？SpectrumQuant给出的答案是：用闭式解构造协方差感知的正交变换。

SpectrumQuant的核心洞察来自对旋转选择问题的重新审视。作者从第一性原理出发分析发现，最大化激活协方差会导致谱对齐（spectral alignment），这为构造量化友好的正交变换提供了一个有原则的判据。

通俗地说，激活值的协方差矩阵描述了各维度之间的相关性和能量分布。当离群值集中在少数维度时，量化误差会被放大。通过构造一个与协方差结构匹配的正交变换，可以把能量"摊平"到更多维度上，降低单个维度的动态范围，从而让低比特量化更容易。

这个思路并不新鲜，但SpectrumQuant的贡献在于把它形式化了：量化友好的旋转可以分解为对齐分量和混合分量的组合，而经典的Hadamard矩阵恰好是这个框架下的一个特例。更值得关注的是，一类butterfly矩阵也属于这个范畴——这意味着一些已有高效结构可以被纳入统一的理论解释中。

具体实现上，SpectrumQuant从校准数据中估计激活协方差，然后以闭式解的方式构造正交变换。整个过程不需要梯度下降或迭代优化，因此显存和时间开销都大幅降低。

论文在Llama和Mistral系列模型上进行了实验。结果显示，SpectrumQuant的效果与当前最先进的旋转策略相当（competitive），但GPU显存需求不到学习型方法的三分之一，时间开销也显著更少。

这个"不到三分之一"的显存优势值得展开说说。学习型旋转方法需要在优化过程中存储旋转矩阵的梯度、优化器状态以及中间激活，而SpectrumQuant的闭式解直接计算出旋转矩阵，省去了这些中间开销。对于想在单卡上量化大模型的开发者来说，这个差距可能决定了方案是否可行。

从定位上看，SpectrumQuant填补了数据无关结构化旋转和学习型旋转之间的空白——它既是数据感知的（利用校准数据估计协方差），又是高效的（闭式解，无需优化）。

如果你正在做LLM的PTQ部署，SpectrumQuant提供了一个值得关注的选项。它不需要像SpinQuant那样跑完整的优化流程，却能获得接近的效果。对于资源有限、又希望利用校准数据提升量化质量的场景，这个权衡很有吸引力。

当然，论文目前只在Llama和Mistral上验证，更广泛的模型架构和量化配置下的表现还需要进一步观察。butterfly矩阵与谱对齐框架的理论联系也值得后续深入挖掘。

从方法论角度看，SpectrumQuant的价值不只在于一个具体的旋转构造方法，更在于它给出了"什么是好的量化旋转"这一问题的理论回答。这种从第一性原理出发的分析思路，可能会启发更多高效量化方法的设计。