待验证50% 置信事实精确时间
分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）和多查询注意力（MQA）之间的折中方案，Llama 3.1 8B使用32个query头分为8组，每组4个query头共享1个KV头，使KV cache相较MHA缩小4倍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证KV Cache内存占用与层数×注意力头数×上下文长度×精度成正比，GQA通过让多个查询头共享同一组Key-Value头来减少缓存量，Llama 2/3和Qwen系列已采用此设计71% 相似待验证GQA通过让多个查询头共享同一组KV头，可将KV缓存体积压缩至原来的1/4至1/869% 相似待验证MiniMax新架构通过跨层共享KVCache、智能筛选注意力机制，在百万级上下文下将预填充算力消耗降低约5倍、KV缓存缩小约4.5倍67% 相似待验证使用非GQA架构（KV头数等于查询头数）在相同条件下的KV缓存是GQA的4倍67% 相似待验证MLA（Multi-head Latent Attention）通过低秩压缩将 KV 缓存的显存占用降低至传统 MHA 的约 1/864% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006016API
curl https://kongchang.com/api/v1/knowledge/claims/1006016MCP
get_claim(id=1006016)