Unverified50% confidenceFactExact time
Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题
1
Sources
50%
Confidence
Long-term
Relevance
8/10/2026
First Seen
Sources
Related Claims
UnverifiedTransformer 模型存在'远端衰减'（Lost in the Middle）现象，对位于上下文中段、距离当前生成位置较远的内容关注度会系统性下降80% similarUnverified斯坦福大学2023年的研究将Transformer在处理超长上下文时对中间位置信息遗忘率显著高于首尾位置的现象命名为'Lost in the Middle'问题78% similarUnverifiedTransformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同75% similarUnverifiedTransformer 中任意两个位置之间的信息传递路径长度恒为1，从根本上克服了 RNN 在长序列上因梯度消失导致的遗忘问题75% similarUnverifiedTransformer缺乏CNN天然具备的局部性、平移不变性等归纳偏置，因此DETR必须完全依靠数据学习空间关系，导致对数据量需求极大75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/723142API
curl https://kongchang.com/api/v1/knowledge/claims/723142MCP
get_claim(id=723142)