Unverified50% confidenceOpinionExact time
很多稀疏/压缩评测任务在滑动窗口注意力下就能通过，因此在这些任务上报告的5-10倍压缩率不具说服力
1
Sources
50%
Confidence
Long-term
Relevance
8/31/2026
First Seen
Sources
Related Entities
Related Claims
Unverified许多长上下文评测任务在滑动窗口注意力（SWA）下就能通过，因此在这些任务上的优异表现不能证明压缩方法在真正需要长距离依赖的场景下有效77% similarUnverified在单跳大海捞针任务中，关键的KV对在注意力分数上天然突出，压缩方法几乎不可能丢掉它，使其对压缩方法过于'友好'75% similarUnverified单跳大海捞针、污染基准、少样本上下文学习这三类评测任务对压缩和稀疏方法最为友好，大多数在滑动窗口注意力下就能通过72% similarUnverifiedMulti-head Latent Attention通过将KV缓存压缩到低维潜在空间中，大幅降低推理时的显存占用和计算开销72% similarUnverified模型压缩手段（蒸馏、剪枝、量化）对高频规律性任务损失极小，但会显著削弱需要长程依赖的多步推理能力，前端交互代码的跨组件状态管理高度依赖这种能力72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/829110API
curl https://kongchang.com/api/v1/knowledge/claims/829110MCP
get_claim(id=829110)