待验证50% 置信事实精确时间

MQA（多查询注意力）中所有查询头共享同一组KV，缓存更小但质量损失相对更大

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

KV缓存显存计算：模型进显存了上下文却爆了

涉及实体

相关事实

待验证GQA 通过让多个 Query 头共享同一组 Key-Value 头，在保持模型表达力的同时降低了 KV Cache 的显存占用65% 相似已验证LLaMA 3 8B采用了分组查询注意力（GQA），将Key和Value的注意力头数量减少为Query头数的1/464% 相似待验证Prompt缓存必须从前缀开始严格匹配，一旦中间某个token变化，其后所有token的注意力计算都会改变，已缓存的KV对随之失效61% 相似待验证RRF不需要对不同检索器的原始分数进行归一化，只依赖排名信息，但当多个检索器在同类查询上系统性犯错时RRF只会放大错误60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/915870

API

curl https://kongchang.com/api/v1/knowledge/claims/915870

MCP

get_claim(id=915870)