待验证50% 置信基准精确时间

在Qwen3.5-2B模型上，DCKV将压缩后的token存储字节数降至bf16的55倍以上，同时在三个长上下文基准测试中精度损失不超过1.8个百分点。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/28

首次发现

有效期至：2027/1/26

来源

DCKV：端到端学习的KV缓存编解码器，压缩超百倍

涉及实体

DCKVmodel Qwen3.5-2Bmodel

相关事实

待验证llama.cpp的--cache-type-k q8_0 --cache-type-v q8_0参数可将KV Cache从FP16量化到8-bit，减少约一半缓存显存占用72% 相似待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化72% 相似待验证vLLM的PagedAttention将KV Cache碎片化率从传统方案的60-80%降至不足4%，吞吐量提升可达24倍71% 相似已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1106217

API

curl https://kongchang.com/api/v1/knowledge/claims/1106217

MCP

get_claim(id=1106217)