[控场AI]
模型

DCKV

一种端到端可微分的KV缓存编解码器,通过联合优化变换、量化器和熵模型与冻结语言模型,实现高倍率KV缓存压缩。

时间轴 (近 90 天)

10月28日

DCKV是一种可微分的KV缓存编解码器,首次实现端到端训练,将变换、量化器和熵模型与冻结的语言模型联合优化。

待验证50%
10月28日

DCKV的训练目标包含两项:熵模型分配的码长(压缩率)和模型输出的变化(压缩引入的失真)。

待验证50%
10月28日

DCKV的熵模型以提示词元和已解码的相邻位置为条件,解码过程是自回归的。

待验证50%
10月28日

在Qwen3.5-2B模型上,DCKV将压缩后的token存储字节数降至bf16的55倍以上,同时在三个长上下文基准测试中精度损失不超过1.8个百分点。

待验证50%
10月28日

当压缩率进一步提升至100倍以上时,DCKV的精度损失控制在3.6个百分点以内。

待验证50%
10月28日

DCKV目前仍处于研究阶段,其编解码过程本身需要额外计算,且熵编码的自回归特性可能引入解码延迟。

待验证50%
10月28日

DCKV针对混合语言模型设计,在纯注意力架构上的适用性尚待验证。

待验证50%

全部知识事实 (7)

来源文章