待验证50% 置信事实精确时间
使用非GQA架构（KV头数等于查询头数）在相同条件下的KV缓存是GQA的4倍
1
来源数
50%
置信度
长期有效
时效性
2026/8/12
首次发现
来源
相关事实
待验证GQA通过让多个查询头共享同一组KV头，可将KV缓存体积压缩至原来的1/4至1/879% 相似待验证GQA 将注意力头分组共享 KV 投影，可将 KV 缓存压缩至原来的 1/4 甚至更低而几乎不损失模型质量70% 相似待验证Q4_K_M是8GB显存用户的事实标准选择，在几乎不增加显存的前提下相比Q4_0显著改善输出质量65% 相似待验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内64% 相似待验证vLLM的PagedAttention将KV缓存切分为固定大小物理块（通常16个token），使显存利用率从不足40%提升至接近90%64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/735609API
curl https://kongchang.com/api/v1/knowledge/claims/735609MCP
get_claim(id=735609)