待验证50% 置信观点精确时间
在单跳大海捞针任务中，关键的KV对在注意力分数上天然突出，压缩方法几乎不可能丢掉它，使其对压缩方法过于'友好'
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证许多长上下文评测任务在滑动窗口注意力（SWA）下就能通过，因此在这些任务上的优异表现不能证明压缩方法在真正需要长距离依赖的场景下有效75% 相似待验证很多稀疏/压缩评测任务在滑动窗口注意力下就能通过，因此在这些任务上报告的5-10倍压缩率不具说服力75% 相似待验证单跳大海捞针、污染基准、少样本上下文学习这三类评测任务对压缩和稀疏方法最为友好，大多数在滑动窗口注意力下就能通过72% 相似待验证在多人频繁重叠遮挡的场景中，自底向上方法更具鲁棒性但计算复杂度更高71% 相似待验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/829108API
curl https://kongchang.com/api/v1/knowledge/claims/829108MCP
get_claim(id=829108)