待验证50% 置信事实精确时间
QSA中C4块指每4个相邻Token被组织为一个计算单元，注意力选择在块级别进行而非Token级别
1
来源数
50%
置信度
长期有效
时效性
2026/9/15
首次发现
来源
涉及实体
相关事实
待验证自注意力通过将输入序列映射为查询Q、键K、值V三组向量，计算Q与K的点积相似度后经Softmax归一化得到注意力权重，再加权汇聚V向量72% 相似已验证分组查询注意力（GQA）和多查询注意力（MQA）通过让多个Query头共享同一组Key/Value头减小推理时KV Cache显存占用，是Llama 3、Mistral等模型的标配优化68% 相似待验证GGUF格式中的Q4_K_M采用分组量化（Group Quantization）策略，每组独立计算缩放因子和零点65% 相似待验证KV Cache group的概念源自GQA（Grouped Query Attention）等技术，多个query head共享同一组KV head64% 相似待验证当前主流的4-bit量化方案（如GPTQ、AWQ）普遍采用group size=128的分组量化策略61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/923184API
curl https://kongchang.com/api/v1/knowledge/claims/923184MCP
get_claim(id=923184)