待验证50% 置信事实精确时间
GQA 是 Google 在 2023 年提出的注意力优化方案，将查询头分组每组共享一套 KV 投影，通常减少 KV 缓存显存 4-8 倍
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
待验证GQA由Google在2023年提出，将多个查询头共享同一组Key-Value头，可降低KV Cache内存消耗50%-75%77% 相似已验证GQA（分组查询注意力）是标准多头注意力的高效变体，由Google在2023年提出，已被LLaMA 3、Mistral等主流模型采用76% 相似待验证GQA由Google在2023年提出，是介于MHA和MQA之间的折中方案；LLaMA 2的70B版本采用8组GQA，将KV缓存减少到MHA的1/470% 相似待验证GQA由Google在2023年提出，将多个查询头共享同一组Key-Value头，已被LLaMA 3、Mistral等主流模型采用66% 相似待验证2020年谷歌推出第四代版本GA4，从基于会话的分析模型转向基于事件的数据模型，并引入机器学习预测功能60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/914950API
curl https://kongchang.com/api/v1/knowledge/claims/914950MCP
get_claim(id=914950)