Unverified50% confidenceOpinionExact time
在单跳大海捞针任务中，关键的KV对在注意力分数上天然突出，压缩方法几乎不可能丢掉它，使其对压缩方法过于'友好'
1
Sources
50%
Confidence
Long-term
Relevance
8/31/2026
First Seen
Sources
Related Entities
Related Claims
Unverified许多长上下文评测任务在滑动窗口注意力（SWA）下就能通过，因此在这些任务上的优异表现不能证明压缩方法在真正需要长距离依赖的场景下有效75% similarUnverified很多稀疏/压缩评测任务在滑动窗口注意力下就能通过，因此在这些任务上报告的5-10倍压缩率不具说服力75% similarUnverified单跳大海捞针、污染基准、少样本上下文学习这三类评测任务对压缩和稀疏方法最为友好，大多数在滑动窗口注意力下就能通过72% similarUnverified在多人频繁重叠遮挡的场景中，自底向上方法更具鲁棒性但计算复杂度更高71% similarUnverified注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/829108API
curl https://kongchang.com/api/v1/knowledge/claims/829108MCP
get_claim(id=829108)