待验证50% 置信事实精确时间

GQA将KV Cache相对MHA压缩约8倍，并成为Llama 2/3、Qwen、Mistral等主流开源模型的标准选择。

1

来源数

50%

置信度

长期有效

时效性

2026/10/14

首次发现

来源

35GB量化模型为何撑爆80GB GPU？KV Cache显存真相

涉及实体

GQAconcept Llama 2model Qwenmodel Mistralmodel

相关事实

待验证GQA相比MHA可将KV缓存体积压缩到四分之一，且不明显损失模型质量73% 相似待验证LLaMA 2的70B版本采用8组GQA，将KV缓存减少到MHA的1/4，同时几乎不影响模型质量70% 相似待验证MLA通过将KV矩阵压缩为低维潜在向量缓存，理论上可将KV Cache显存占用降低至标准MHA的5%至13%69% 相似待验证DeepSeek-V2 论文显示 MLA 可将 KV Cache 显存降低至标准 MHA 的约5%至13%，同时维持相近性能65% 相似待验证GGUF、AWQ等量化格式能将数百亿参数模型压缩至消费级GPU可运行的体积，同时保持接近原版的性能64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1025447

API

curl https://kongchang.com/api/v1/knowledge/claims/1025447

MCP

get_claim(id=1025447)