Unverified50% confidenceFactExact time

当前主流LLM采用Transformer架构，随着上下文长度增加会出现对早期信息的注意力衰减现象

1

Sources

50%

Confidence

Long-term

Relevance

7/17/2026

First Seen

Sources

AI First公司为何叫停AI？成本与能力双重困境揭秘

Related Claims

UnverifiedLLM在长序列生成中因注意力稀释而遗忘之前约束的现象被称为「长上下文遗忘（Lost in the Middle）」，是当前Transformer架构的固有局限81% similar VerifiedTransformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定79% similar UnverifiedLLM对上下文开头和结尾的信息保持较高敏感度，而对中间位置的信息存在'注意力衰减'现象73% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/545009

API

curl https://kongchang.com/api/v1/knowledge/claims/545009

MCP

get_claim(id=545009)