BasisKV

BasisKV将低秩Value表示与输出投影绑定，使同一组低秩因子既压缩Value缓存宽度又削减张量并行通信量。

BasisKV复用压缩后的Value缓存来预测Key路由所需的部分信息，只对选中的Key页回读原始Key以计算精确QK分数。

BasisKV在多个LLM系列和系统设置下评估，报告称其质量—效率权衡优于现有低秩基线。

BasisKV在8卡张量并行推理下实现最高1.42倍的端到端加速。

BasisKV的代码已在GitHub开源，仓库为alexz949/BasisKV。