待验证50% 置信事实精确时间
多查询注意力（MQA）中Hkv=1，缓存比GQA更小。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
已验证MLA可将KV Cache的显存占用降低至传统多头注意力的5%-13%67% 相似待验证MASA的评分量化新增某个单元后矩阵乘积ÂV与完整注意力输出AV之间Frobenius误差能减少多少，同时考虑注意力权重和value向量幅度66% 相似待验证GLM-5.2 采用 IndexShare 技术，每四个稀疏注意力层复用同一个索引器，在 1M 上下文长度下将每 token 的 FLOPs 降低了 2.9 倍63% 相似待验证在固定算力下，单头注意力比最优设置差0.9分，头太多质量反而会下降63% 相似待验证在验证集平均 NLL 指标上，Continuum Attention 相比普通 softmax 注意力降低了 0.0200 nats/byte。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057308API
curl https://kongchang.com/api/v1/knowledge/claims/1057308MCP
get_claim(id=1057308)