待验证50% 置信观点精确时间
很多稀疏/压缩评测任务在滑动窗口注意力下就能通过，因此在这些任务上报告的5-10倍压缩率不具说服力
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证许多长上下文评测任务在滑动窗口注意力（SWA）下就能通过，因此在这些任务上的优异表现不能证明压缩方法在真正需要长距离依赖的场景下有效77% 相似待验证在单跳大海捞针任务中，关键的KV对在注意力分数上天然突出，压缩方法几乎不可能丢掉它，使其对压缩方法过于'友好'75% 相似待验证单跳大海捞针、污染基准、少样本上下文学习这三类评测任务对压缩和稀疏方法最为友好，大多数在滑动窗口注意力下就能通过72% 相似待验证Multi-head Latent Attention通过将KV缓存压缩到低维潜在空间中，大幅降低推理时的显存占用和计算开销72% 相似待验证模型压缩手段（蒸馏、剪枝、量化）对高频规律性任务损失极小，但会显著削弱需要长程依赖的多步推理能力，前端交互代码的跨组件状态管理高度依赖这种能力72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/829110API
curl https://kongchang.com/api/v1/knowledge/claims/829110MCP
get_claim(id=829110)