[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
MQA / Multi-Query Attention
多查询注意力
一种注意力机制变体,所有查询头共享单个键/值头,极大减少KV缓存,但可能影响模型质量。
时间轴 (近 90 天)
10月18日
多查询注意力(MQA)中Hkv=1,缓存比GQA更小。
待验证
50%
全部知识事实 (1)
待验证
多查询注意力(MQA)中Hkv=1,缓存比GQA更小。
50%
来源文章
本地大模型显存预算:权重、KV缓存与运行余量
10月18日