待验证50% 置信事实精确时间

GQA最早由Google在训练PaLM 2时提出并应用，随后被Llama 2/3、Mistral等开源模型采纳

1

来源数

50%

置信度

长期有效

时效性

2026/8/20

首次发现

来源

Nemotron 3.5 Lightning：专为长程Agent设计的高效开源模型

相关事实

待验证GQA由Google在2023年提出，将多个查询头共享同一组Key-Value头，已被LLaMA 3、Mistral等主流模型采用69% 相似待验证GQA（分组查询注意力）是标准多头注意力的高效变体，由Google在2023年提出，已被LLaMA 3、Mistral等主流模型采用69% 相似待验证谷歌开源了Gemma系列小模型，借鉴了Meta开放LLaMA系列的成功路径67% 相似待验证Meta的LLaMA、Google的Gemma等主流开源模型均大量采用量化和知识蒸馏技术63% 相似待验证GLM 4.7和Minimax M2.1均采用开源策略，模型权重公开可用63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/778809

API

curl https://kongchang.com/api/v1/knowledge/claims/778809

MCP

get_claim(id=778809)