DCKV：端到端学习的KV缓存编解码器，压缩超百倍

混合语言模型仅在少数全注意力层中保留键值（KV）缓存，但这部分缓存恰恰是提示状态中随提示长度增长、且需要存储或迁移以实现复用的关键。现有压缩方法大多独立于模型优化，而DCKV提出了一种可微分的KV缓存编解码器，首次实现端到端训练，将变换、量化器和熵模型与冻结的语言模型联合优化。

为什么KV缓存需要专门的编解码器

在混合架构中，全注意力层数量有限，KV缓存规模相对可控，但它仍然是提示状态中唯一随提示长度线性增长的部分。当需要复用提示状态时——比如多轮对话、检索增强生成或长文档推理——这部分缓存必须被存储或在不同设备间迁移。bf16等传统格式占用字节数高，直接存储或传输成本显著。

DCKV的核心洞察是：KV缓存并非普通数据，它的价值在于让语言模型恢复出正确的输出。因此，压缩目标不应只是最小化重构误差，而应同时考虑压缩后的缓存对模型输出行为的影响。这一思路与传统的通用压缩算法有本质区别。

混合语言模型（Hybrid Language Model） 指在架构中交替或组合使用全注意力层与线性注意力、状态空间模型（如 Mamba）等高效层的模型。全注意力层需为每个历史 token 保存键值向量，开销随序列长度线性增长；线性注意力层则以固定大小的递归状态代替 KV 缓存。因此混合架构把 KV 缓存集中在少数全注意力层，整体规模比纯 Transformer 更可控，但被保留下来的这部分缓存恰恰是随提示长度增长、需要跨会话或跨设备复用的部分。DCKV 正是针对这些全注意力层的缓存做压缩，这也是它强调"针对混合架构设计"的原因。

端到端训练：变换、量化与熵模型联合优化

DCKV的编解码器包含三个可学习组件：变换、量化器和熵模型。变换负责将KV缓存映射到更紧凑的表示空间；量化器将连续值离散化；熵模型则对量化后的符号进行概率建模以实现熵编码。三者以可微分方式连接，并与冻结的语言模型一起进行端到端优化。

训练目标包含两项：一是熵模型分配的码长，即压缩率；二是模型输出的变化，即压缩引入的失真。由于语言模型参数冻结，梯度通过模型输出回传至编解码器，使其学会在给定码率下最小化对模型行为的影响。这种联合优化让DCKV能够针对特定模型和任务自适应地分配比特。

熵模型的条件设计也值得注意：它以提示词元和已解码的相邻位置为条件，利用上下文信息提升概率预测精度。这意味着解码过程是自回归的，后续位置的解码可以依赖先前已恢复的内容，从而进一步降低码长。

熵编码与熵模型：熵编码是一类无损压缩方法（如算术编码、rANS），它依据符号的概率分布分配码长——高概率符号用短码、低概率符号用长码，理论上可逼近数据的信息熵。要使用熵编码，必须先有一个能估计符号概率的模型，即熵模型。在 learned compression 中，熵模型通常是一个可学习的神经网络，其输出的概率分布既用于编码，也直接构成训练损失中的码率项（码长的期望）。DCKV 的创新在于让熵模型以提示词元和已解码的相邻位置为条件，相当于用上下文提升概率预测精度，代价是解码必须按顺序自回归进行。

可微分量化：量化把连续值映射到离散码本，本身不可导，梯度无法直接穿过取整操作。常见的解决办法包括直通估计器（straight-through estimator，前向取整、反向把梯度原样传回）、软量化或加性均匀噪声近似。DCKV 要求变换、量化器、熵模型与冻结语言模型联合端到端优化，因此必须采用这类可微分量化技术，才能让来自模型输出的失真梯度回传到量化器参数上。

实验表现：压缩率与精度损失的权衡

在Qwen3.5-2B模型上，DCKV展示了可观的压缩效果。据论文数据，DCKV将压缩后的token存储字节数降至bf16的55倍以上，同时在三个长上下文基准测试中精度损失不超过1.8个百分点。当压缩率进一步提升至100倍以上时，精度损失控制在3.6个百分点以内。

这一结果说明，KV缓存中存在大量冗余，而 learned transform coding 能够有效挖掘这些冗余。与固定格式存储相比，DCKV在几乎不损失模型能力的前提下大幅降低了存储和传输开销。对于需要频繁复用提示状态的应用场景，这种压缩比意味着显著的成本节约。

learned transform coding 指用可学习的变换（而非 DCT 等固定变换）把信号映射到更利于压缩的表示空间，再配合量化和熵编码完成压缩，是神经图像/视频压缩中的主流范式。其有效性依赖一个前提：数据在合适变换下存在可挖掘的冗余与稀疏性。DCKV 把这一范式迁移到 KV 缓存上，并用语言模型输出而非像素重构作为失真度量，相当于把"变换编码"的目标函数从信号保真改成了任务保真。

对长上下文应用的潜在影响

长上下文推理的成本瓶颈之一在于KV缓存的内存占用和迁移开销。DCKV的端到端压缩方案为缓解这一问题提供了新思路：在提示状态需要持久化或跨设备共享时，可以先压缩再存储，使用时再解压恢复，从而用少量精度换取大幅资源节省。

不过，DCKV目前仍处于研究阶段，其编解码过程本身需要额外计算，且熵编码的自回归特性可能引入解码延迟。实际部署时需要在压缩收益与编解码开销之间做权衡。此外，该方法针对混合语言模型设计，在纯注意力架构上的适用性尚待验证。

总体而言，DCKV将学习式压缩引入KV缓存管理，把编解码器与语言模型输出对齐，为提示状态的高效存储与复用提供了可借鉴的范式。随着长上下文模型应用深化，这类面向模型内部状态的专用编解码技术值得持续关注。