[控场AI]
概念MQA / Multi-Query Attention

多查询注意力

一种注意力机制变体,所有查询头共享单个键/值头,极大减少KV缓存,但可能影响模型质量。

时间轴 (近 90 天)

10月18日

多查询注意力(MQA)中Hkv=1,缓存比GQA更小。

待验证50%

全部知识事实 (1)

来源文章