模型
SnapKV
SnapKV是一种基于注意力得分的KV缓存驱逐压缩方法，通过判断token重要性选择性删除不重要的缓存条目，以降低大语言模型推理时的显存占用
时间轴 (近 90 天)
10月12日
香港科技大学（广州）团队提出的ChunkKV以连续语义块为基本压缩单位，整块保留或整块丢弃。在NIAH基准测试中，KV缓存限制为128时，基于LLaMA-3的ChunkKV准确率达73.8%，超过SnapKV的58.9%。
待验证50%
10月8日
基于得分的驱逐方法如SnapKV、H2O通过注意力得分判断哪些token不重要并将其删除
待验证50%
8月31日
H2O是基于Top-k选择的动态稀疏方法，SnapKV是基于累积注意力分数的方法，MInference是分块稀疏的结构化稀疏方法
待验证50%