待验证50% 置信事实精确时间
分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）与多查询注意力（MQA）之间的折中方案。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
vLLM P/D分离：KV传输成本决定收益的计算法则
rss2026/10/19
涉及实体
相关事实
已验证Qwen2于2024年中发布，采用了分组查询注意力（GQA）和滑动窗口注意力等架构改进73% 相似待验证Multi-Head Latent Attention（MLA）由 DeepSeek-V2 于2024年提出66% 相似待验证GQA 技术最初由 Google Research 在 2023 年提出，随后被 Llama 2、Mistral 等主流模型广泛采用63% 相似待验证Llama 3于2024年发布，参数规格为8B、70B和405B，训练数据量超过15万亿tokens，采用分组查询注意力（GQA）技术62% 相似待验证GPTQ 于2022年提出，通过逐层的二阶信息校准改善了 INT4 量化质量58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069157API
curl https://kongchang.com/api/v1/knowledge/claims/1069157MCP
get_claim(id=1069157)