待验证50% 置信事实精确时间
EmsyAI采用GQA注意力机制，配置为16个Query头/4个KV头
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
待验证GQA（分组查询注意力）是介于多头注意力（MHA）和多查询注意力（MQA）之间的注意力机制，通过将多个 Query 头分组共享 Key-Value 投影来减少 KV Cache 显存占用69% 相似待验证Meta发布的Llama 3系列采用分组查询注意力机制（GQA），在推理效率上较传统多头注意力有显著提升68% 相似已验证Qwen系列在架构层面引入了GQA（分组查询注意力）机制，相比标准多头注意力降低了KV缓存的内存占用67% 相似待验证LoRA的秩r通常取8至64之间，target_modules通常注入注意力层的Q、K、V、O矩阵66% 相似待验证Deformable DETR用可变形注意力替代全局自注意力，每层每个头仅采样约4个参考点，将注意力计算复杂度从O(N²)降低到O(NK)66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/912640API
curl https://kongchang.com/api/v1/knowledge/claims/912640MCP
get_claim(id=912640)