待验证50% 置信事实精确时间

当前主流LLM采用Transformer架构，随着上下文长度增加会出现对早期信息的注意力衰减现象

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

AI First公司为何叫停AI？成本与能力双重困境揭秘

相关事实

待验证LLM在长序列生成中因注意力稀释而遗忘之前约束的现象被称为「长上下文遗忘（Lost in the Middle）」，是当前Transformer架构的固有局限81% 相似已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定79% 相似待验证LLM对上下文开头和结尾的信息保持较高敏感度，而对中间位置的信息存在'注意力衰减'现象73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/545009

API

curl https://kongchang.com/api/v1/knowledge/claims/545009

MCP

get_claim(id=545009)