待验证50% 置信事实精确时间
模型在大海捞针测试中对中间位置信息的检索能力明显弱于首尾位置，这被称为注意力沉降现象
1
来源数
50%
置信度
长期有效
时效性
2026/8/5
首次发现
来源
相关事实
待验证斯坦福大学 2023 年论文《Lost in the Middle》发现模型对上下文窗口中间位置信息的关注度显著低于开头和结尾，呈现 U 型注意力分布75% 相似待验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小75% 相似待验证当前最前沿模型在处理长程依赖时面临注意力衰减问题，随着上下文长度增加，维持早期设定一致性的能力显著下降74% 相似已验证研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象74% 相似待验证Prompt中token数量过多会稀释注意力机制的聚焦能力，降低每个描述的实际影响力74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/692299API
curl https://kongchang.com/api/v1/knowledge/claims/692299MCP
get_claim(id=692299)