待验证50% 置信事实精确时间
Grouped-Query Attention（GQA）让多个注意力头共享分组后的 K、V，在显存占用与模型表达能力之间取得平衡
1
来源数
50%
置信度
长期有效
时效性
2026/9/15
首次发现
来源
涉及实体
相关事实
待验证自注意力机制通过Query-Key-Value矩阵运算决定序列中每个token应关注哪些其他token，注意力权重是总和为1的概率分布74% 相似待验证注意力计算流程为：Q向量与所有前置Token的K向量做点积得到相关性分数，经Softmax归一化后对V向量加权求和，再施加线性变换输出73% 相似已验证自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理68% 相似待验证Attention 采用 QKV 框架，每个 Token 的 Embedding 经三个线性变换矩阵生成 Query、Key、Value 向量68% 相似待验证LoRA推理时可将BA与原权重合并，不增加任何推理延迟，通常只应用于注意力层的Q、V权重矩阵66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/923485API
curl https://kongchang.com/api/v1/knowledge/claims/923485MCP
get_claim(id=923485)