概念GQA / 分组查询注意力
Grouped-Query Attention
一种注意力机制变体，将查询头分组共享键值头，减少KV cache大小，平衡推理效率与模型质量
时间轴 (近 90 天)
10月12日
GQA 中设 kv=1 使每层只有一个键值向量，KV cache 被压到与序列长度几乎无关，从而避免挤占 L3 空间。
待验证50%
9月15日
Grouped-Query Attention（GQA）让多个注意力头共享分组后的 K、V，在显存占用与模型表达能力之间取得平衡
待验证50%