ZHA

ZHA 目前缺少效率数据，难以对其“真亚二次”成色定论。

ZHA 通过蒸馏让已经冻结的 LLM 获得稀疏注意力能力，而不需要重新训练基座模型。

ZHA 官方声称在推理任务和 256K 长度的检索基准上能够匹配稠密注意力。

ZHA 使用 4B tokens 的蒸馏来让冻结的基座模型学会使用稀疏注意力模式。

原始报道未披露 ZHA 树结构的具体构建方式、分支因子或层级深度细节。

ZHA 的评估仅覆盖推理和 256K 检索两个维度，缺少与其他稀疏方案的横向对比和效率侧的具体数据。

ZHA 的贡献可能在于将树索引稀疏注意力与冻结模型蒸馏结合，形成可复用的改造管线。

KL 蒸馏使用原全注意力模型作为教师，让替换为 ZHA 结构的学生模型模仿教师下一 token 分布，损失为 KL 散度。

ZHA（Hierarchical Attention）由 Zyphra 提出，使用递归压缩的树状索引器，使总成本随序列长度亚线性增长，从而实现整体亚二次但超线性的注意力复杂度。

ZHA 在 KV cache 上构建递归压缩的 key 摘要树，叶节点对应原始 key 块，上层节点是子节点的压缩表示，查询时从树顶向下逐层筛选。

ZHA 的树深度可迭代增长，路由与最终注意力的总成本相对序列长度呈亚线性，整体获得亚二次但超线性的缩放曲线。

ZHA 只需在几千亿 token 量级上进行简短的 KL 蒸馏训练，即可应用到现有预训练模型，无需从头预训练。

ZHA 在长上下文检索以及推理、数学、智能体编程等评测任务上保持性能。

ZHA 对树几何（分支度、深度）高度鲁棒，能稳定支持深达 6 层的树。

ZHA 在实测中呈现亚二次缩放，在超过 100 万上下文时显著优于竞争方法。

ZHA 的后置稀疏化思路可能比新架构更贴近工程现实，值得关注长上下文与推理效率的团队观察。

ZHA 具备将有效上下文窗口扩展到数亿甚至数十亿 token 的潜力，但该结论来自模型推演与实验外推，属于方向性判断。