[控场AI]
概念Key Routing

Key路由

稀疏注意力或缓存检索中的机制,先低成本预测与当前Query最相关的Key页,再仅对选中页做精确QK点积计算,以降低长上下文推理开销。

时间轴 (近 90 天)

11月3日

BasisKV复用压缩后的Value缓存来预测Key路由所需的部分信息,只对选中的Key页回读原始Key以计算精确QK分数。

待验证50%
11月3日

Key路由的两级设计为“粗路由+精打分”,即先以低成本预测哪些Key页与当前Query最相关,再只对这些页做精确的QK点积计算。

待验证50%

全部知识事实 (2)

来源文章