论文Heavy-Hitter Oracle
H2O
一种基于token重要性评分的KV缓存驱逐方法，通过累积注意力权重识别并保留重要token、丢弃低分token，以减少推理时的显存占用
时间轴 (近 90 天)
10月8日
基于得分的驱逐方法如SnapKV、H2O通过注意力得分判断哪些token不重要并将其删除
待验证50%
10月7日
常见的KV缓存驱逐方法包括H2O、ScissorHands、StreamingLLM，其核心逻辑是给每个token打重要性分数并移除低分token
待验证50%
9月6日
H2O驱逐策略根据注意力分数动态淘汰不重要的历史token
待验证50%
8月31日
H2O是基于Top-k选择的动态稀疏方法，SnapKV是基于累积注意力分数的方法，MInference是分块稀疏的结构化稀疏方法
待验证50%