ScissorHands

一种KV缓存token驱逐方法，基于注意力权重的重要性评分对缓存中的token进行选择性保留，以降低长上下文推理的显存占用