#KV缓存压缩

BasisKV：低秩KV缓存压缩如何同时优化张量并行通信与关键页路由

BasisKV提出低秩KV缓存压缩新方法：将Value压缩与输出投影绑定以削减张量并行通信，并复用Value潜变量预测Key路由，在8卡张量并行推理下实现最高1.42倍端到端加速。