Latent Sparse Attention

Latent Sparse Attention（LSA）是一种高效注意力方法，其核心是在学习得到的潜在空间中对键进行层次化聚类，查询对聚类层次结构打分而非逐一给每个键打分。

LSA 将键映射到潜在空间，并用树状结构逐层分组，查询从根节点开始，每层只对少量候选聚类打分并选择若干分支下行，最终到达叶节点对应的键子集，把打分次数从 O(n) 降到 O(log n) 量级。