概念GQA / Grouped Query Attention
分组查询注意力
一种注意力机制变体，将查询头分组并共享键/值头，显著减少KV缓存内存占用，同时保持模型质量。
核心事实
时间轴 (近 90 天)
10月18日
现代大模型（如Qwen、Llama 3、Mistral等）普遍采用分组查询注意力（GQA），KV头数通常远小于查询头数。
待验证50%
10月16日
Muse Spark Open 隐藏维度为 8192，全程采用分组查询注意力（GQA）。
待验证50%
一种注意力机制变体，将查询头分组并共享键/值头，显著减少KV缓存内存占用，同时保持模型质量。
现代大模型（如Qwen、Llama 3、Mistral等）普遍采用分组查询注意力（GQA），KV头数通常远小于查询头数。
Muse Spark Open 隐藏维度为 8192，全程采用分组查询注意力（GQA）。