待验证50% 置信事实精确时间
ZHA 官方声称在推理任务和 256K 长度的检索基准上能够匹配稠密注意力。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/3
首次发现
有效期至：2027/2/1
来源
涉及实体
相关事实
待验证ZHA（Hierarchical Attention）由 Zyphra 提出，使用递归压缩的树状索引器，使总成本随序列长度亚线性增长，从而实现整体亚二次但超线性的注意力复杂度。73% 相似待验证EmsyAI采用GQA注意力机制，配置为16个Query头/4个KV头63% 相似已验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术62% 相似已验证GQA（分组查询注意力）是介于多头注意力（MHA）和多查询注意力（MQA）之间的注意力机制，通过将多个 Query 头分组共享 Key-Value 投影来减少 KV Cache 显存占用61% 相似已验证Multi-Query Attention技术让多个注意力头共享同一组Key和Value投影矩阵，将KV缓存显存需求压缩至原来的1/H，代价是模型表达能力的轻微损失61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129242API
curl https://kongchang.com/api/v1/knowledge/claims/1129242MCP
get_claim(id=1129242)