待验证50% 置信事实精确时间
Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题
1
来源数
50%
置信度
长期有效
时效性
2026/8/10
首次发现
来源
相关事实
待验证Transformer 模型存在'远端衰减'（Lost in the Middle）现象，对位于上下文中段、距离当前生成位置较远的内容关注度会系统性下降80% 相似待验证斯坦福大学2023年的研究将Transformer在处理超长上下文时对中间位置信息遗忘率显著高于首尾位置的现象命名为'Lost in the Middle'问题78% 相似待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同75% 相似待验证Transformer 中任意两个位置之间的信息传递路径长度恒为1，从根本上克服了 RNN 在长序列上因梯度消失导致的遗忘问题75% 相似待验证Transformer缺乏CNN天然具备的局部性、平移不变性等归纳偏置，因此DETR必须完全依靠数据学习空间关系，导致对数据量需求极大75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/723142API
curl https://kongchang.com/api/v1/knowledge/claims/723142MCP
get_claim(id=723142)