待验证50% 置信事实精确时间
‘中间遗忘’导致的性能下降呈U型曲线，并非线性衰减；其机制可能与Transformer的注意力分配和位置编码有关。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定79% 相似待验证Transformer自注意力机制的计算成本随上下文长度呈平方级增长，且存在Lost in the Middle效应导致模型对窗口中部信息提取能力弱于头尾77% 相似待验证Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题75% 相似待验证Transformer 中任意两个位置之间的信息传递路径长度恒为1，从根本上克服了 RNN 在长序列上因梯度消失导致的遗忘问题73% 相似待验证Transformer 模型存在'远端衰减'（Lost in the Middle）现象，对位于上下文中段、距离当前生成位置较远的内容关注度会系统性下降73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1052237API
curl https://kongchang.com/api/v1/knowledge/claims/1052237MCP
get_claim(id=1052237)