模型
DCKV
一种端到端可微分的KV缓存编解码器,通过联合优化变换、量化器和熵模型与冻结语言模型,实现高倍率KV缓存压缩。
时间轴 (近 90 天)
10月28日
DCKV是一种可微分的KV缓存编解码器,首次实现端到端训练,将变换、量化器和熵模型与冻结的语言模型联合优化。
待验证50%
10月28日
DCKV的训练目标包含两项:熵模型分配的码长(压缩率)和模型输出的变化(压缩引入的失真)。
待验证50%
10月28日
DCKV的熵模型以提示词元和已解码的相邻位置为条件,解码过程是自回归的。
待验证50%
10月28日
在Qwen3.5-2B模型上,DCKV将压缩后的token存储字节数降至bf16的55倍以上,同时在三个长上下文基准测试中精度损失不超过1.8个百分点。
待验证50%
10月28日
当压缩率进一步提升至100倍以上时,DCKV的精度损失控制在3.6个百分点以内。
待验证50%
10月28日
DCKV目前仍处于研究阶段,其编解码过程本身需要额外计算,且熵编码的自回归特性可能引入解码延迟。
待验证50%
10月28日
DCKV针对混合语言模型设计,在纯注意力架构上的适用性尚待验证。
待验证50%
全部知识事实 (7)
待验证
DCKV是一种可微分的KV缓存编解码器,首次实现端到端训练,将变换、量化器和熵模型与冻结的语言模型联合优化。
50%待验证DCKV的训练目标包含两项:熵模型分配的码长(压缩率)和模型输出的变化(压缩引入的失真)。
50%待验证DCKV的熵模型以提示词元和已解码的相邻位置为条件,解码过程是自回归的。
50%待验证在Qwen3.5-2B模型上,DCKV将压缩后的token存储字节数降至bf16的55倍以上,同时在三个长上下文基准测试中精度损失不超过1.8个百分点。
50%待验证当压缩率进一步提升至100倍以上时,DCKV的精度损失控制在3.6个百分点以内。
50%待验证DCKV目前仍处于研究阶段,其编解码过程本身需要额外计算,且熵编码的自回归特性可能引入解码延迟。
50%待验证DCKV针对混合语言模型设计,在纯注意力架构上的适用性尚待验证。
50%