Grouped Query Attention

一种介于多头注意力（MHA）与多查询注意力（MQA）之间的注意力机制，将查询头分组共享KV头，在减少KV缓存和计算量的同时保持接近MHA的模型质量。