Unverified50% confidenceFactExact time
模型在大海捞针测试中对中间位置信息的检索能力明显弱于首尾位置，这被称为注意力沉降现象
1
Sources
50%
Confidence
Long-term
Relevance
8/5/2026
First Seen
Sources
Related Claims
Unverified斯坦福大学 2023 年论文《Lost in the Middle》发现模型对上下文窗口中间位置信息的关注度显著低于开头和结尾，呈现 U 型注意力分布75% similarUnverified注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小75% similarUnverified当前最前沿模型在处理长程依赖时面临注意力衰减问题，随着上下文长度增加，维持早期设定一致性的能力显著下降74% similarVerified研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象74% similarUnverifiedPrompt中token数量过多会稀释注意力机制的聚焦能力，降低每个描述的实际影响力74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/692299API
curl https://kongchang.com/api/v1/knowledge/claims/692299MCP
get_claim(id=692299)