Unverified50% confidenceFactExact time
GQA最早由Google在训练PaLM 2时提出并应用，随后被Llama 2/3、Mistral等开源模型采纳
1
Sources
50%
Confidence
Long-term
Relevance
8/20/2026
First Seen
Sources
Related Claims
UnverifiedGQA由Google在2023年提出，将多个查询头共享同一组Key-Value头，已被LLaMA 3、Mistral等主流模型采用69% similarUnverifiedGQA（分组查询注意力）是标准多头注意力的高效变体，由Google在2023年提出，已被LLaMA 3、Mistral等主流模型采用69% similarUnverified谷歌开源了Gemma系列小模型，借鉴了Meta开放LLaMA系列的成功路径67% similarUnverifiedMeta的LLaMA、Google的Gemma等主流开源模型均大量采用量化和知识蒸馏技术63% similarUnverifiedGLM 4.7和Minimax M2.1均采用开源策略，模型权重公开可用63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/778809API
curl https://kongchang.com/api/v1/knowledge/claims/778809MCP
get_claim(id=778809)