冻结解码器只修复编码器：SVD型KV缓存压缩的高效适配方法

一个被忽视的实验陷阱

在比较参数高效微调（PEFT）方案时，研究者往往会用一个共享的学习率来跑所有对照组。听起来公平，实则暗藏杀机。这篇arXiv论文揭示了一个常见却被低估的方法论缺陷：当被比较的几个方案拥有差异巨大的可训练参数量时，使用统一学习率会同时压低大参数量方案的均值、抬高其方差，从而人为制造出一个看似显著、实则虚假的优势——而这个优势通常会落到参数最少的那个方案头上。

论文把这个问题放在一个具体场景里展开：基于SVD的事后KV缓存压缩。这是一个在实践中越来越受关注的方向，因为KV缓存的显存占用是长上下文推理的主要瓶颈之一。

SVD型KV缓存压缩的工作原理

要理解这项工作，先得理解它所处的技术背景。对于一个已经预训练好的模型，可以通过对其键（Key）和值（Value）权重做奇异值分解（SVD），把它们因子化为两部分：一个降维投影（称为"编码器 encoder"）和一个升维投影（称为"解码器 decoder"）。这实际上把标准注意力转换成了一种类似多头潜在注意力（Multi-Head Latent Attention, MLA）风格的低秩缓存结构。

低秩分解必然带来截断误差，模型精度会因此下降。为弥补这一损失，需要进行一次短时间的微调，论文称之为"修复（healing）"。关键问题随之而来：修复时应该调整哪一部分参数？是只调编码器、只调解码器，还是两者都调？

奇异值分解（SVD）是线性代数中的经典矩阵分解方法：任意矩阵 W 可以分解为 U·Σ·Vᵀ，其中 Σ 是对角矩阵，其对角元素（奇异值）从大到小排列。低秩近似的核心思路是只保留前 r 个最大奇异值，将原本的大矩阵用两个更窄的矩阵乘积来代替——这正是"编码器-解码器"结构的来源。在KV缓存场景中，压缩比越高意味着保留的秩 r 越小，缓存显存越省，但截断掉的信息越多，模型性能损失也越大。多头潜在注意力（MLA）是DeepSeek^广告系列模型提出的注意力变体，其核心思想与此高度相似：将KV投影到低维潜在空间后再缓存，推理时解码回高维，从而以较小的显存换取接近完整注意力的表达能力。SVD后处理方案正是把这一理念"事后"植入已有预训练模型，而无需从头训练。

共享学习率下的"假胜利"

在共享学习率的设定下，实验结果看起来非常清晰：冻结解码器、只修复编码器明显优于修复解码器或两者都修复的方案。参数更少、效果更好，这几乎是PEFT研究梦寐以求的结论。

但论文作者没有停在这里。他们给每一个对照组单独调优了专属学习率，再加上每种配置跑三个随机种子，结果发生了戏剧性反转——那个"明显优势"消失了。只修复编码器的方案并没有真正超越其他方案，而是与它们达到了同等水平（parity）。

换句话说，之前看到的优势完全是共享学习率这个实验设置人为制造出来的假象。大参数量方案在不合适的学习率下表现被压制，才让小参数量方案显得鹤立鸡群。

学习率对不同规模参数组的影响在优化理论上有直觉解释：可训练参数量更多的方案，其损失曲面在高维空间中更复杂，需要更小的学习率才能稳定收敛；而参数量极少的方案对应更低维的优化问题，相同学习率下往往已处于过大区间，反而能"跌跌撞撞"地收敛到较好结果。当研究者为所有方案选择一个对小参数量方案友好的学习率时，大参数量方案实际上是在一个偏大的学习率下训练，梯度更新振荡更剧烈，最终性能和稳定性都被压制。这一偏差并非随机噪声，而是系统性地有利于参数最少的方案，因此在对比结论中会持续出现、难以通过增加实验次数来消除——除非从根源上为每个方案单独搜索最优学习率。

真正的收益在哪里

反转之后，这项研究的价值并没有消失，反而更加扎实。虽然只修复编码器在精度上只是"打平"，但它带来的是实实在在的资源节省：

• 可训练参数减少 3倍
• 优化器状态显存减少 3倍

这意味着，只修复编码器是一个"低显存、即插即用"的方案，特别适合在训练阶段为模型加装低秩KV缓存压缩能力。精度不输，成本更低，这才是真正有意义的工程价值——而不是一个靠实验设计堆出来的虚假精度优势。

验证的严谨性

论文的结论建立在相对扎实的实验基础上。研究者在视觉语言模型 Qwen2.5-VL-3B-Instruct 上，针对该协议覆盖的单一压缩比，用逐方案学习率调优加三种子重复验证了这一"打平"结论。为增强普适性，他们还在纯文本测试平台上、跨两个不同骨干模型复现了同样的现象。

需要客观指出的是，论文明确说明验证仅覆盖"该协议所能覆盖的一个压缩比"，这是一个值得注意的范围限制——不同压缩比下的结论是否一致，仍有待进一步研究。

对整个微调研究领域的警示

这篇论文最大的贡献或许不在KV缓存压缩本身，而在于它提出的方法论警告：任何对比可训练参数量不同的微调方案的研究，都应当警惕共享学习率陷阱。

在PEFT、LoRA变体、各类适配器方法层出不穷的今天，很多论文的"SOTA"结论都建立在横向对比之上。如果这些对比没有为每个方案单独调优学习率，那么其中一部分"参数更少、效果更好"的结论可能都需要重新审视。这是一个成本很低但影响面很广的方法论修正，值得每一位做微调实验的研究者记在心上。

LoRA（Low-Rank Adaptation）是目前最主流的PEFT方法之一，其核心是在预训练权重旁并联一个低秩矩阵 ΔW = A·B，仅训练 A、B 两个小矩阵。LoRA的"秩"（rank）直接决定可训练参数量，不同秩的变体之间参数量差异可达数倍乃至数十倍。在LoRA及其众多变体（如AdaLoRA、DoRA、VeRA等）的横向对比实验中，共享学习率陷阱同样普遍存在。如果一篇论文声称某方法"以更少参数达到更高精度"，而实验章节没有明确说明各方案学习率是独立搜索的，那么这一结论就存在被本文所揭示的偏差污染的风险。检验标准很简单：查看超参数搜索章节，确认每个对照组都有独立的学习率调优记录，以及足够多的随机种子重复。