待验证50% 置信事实精确时间
现代大模型（如Qwen、Llama 3、Mistral等）普遍采用分组查询注意力（GQA），KV头数通常远小于查询头数。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证注意力层的Q、K、V投影矩阵及模型首尾层对量化噪声更敏感，而MoE架构中的专家网络冗余度更高、量化误差容忍度更高66% 相似待验证GQA可将推理时KV Cache显存降低至MHA的1/4，同时保留比MQA更强的建模能力63% 相似待验证KV缓存优化主要有四大技术路线：量化、稀疏注意力、低秩近似、多查询/分组查询注意力（MQA/GQA）63% 相似待验证量化误差具有非均匀分布特性，注意力机制的Q/K/V矩阵和最后几层对量化更为敏感62% 相似已验证现代量化方案如GPTQ、AWQ及GGUF格式的分组量化，通过逐层校准和异常值保护，可将模型体积缩减75%以上同时保留绝大部分推理能力61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057306API
curl https://kongchang.com/api/v1/knowledge/claims/1057306MCP
get_claim(id=1057306)