Lost in the Middle
Lost in the Middle 是大型语言模型（LLM）领域的一个研究概念，指模型在处理长文本上下文时，对位于输入序列中间位置的信息表现出注意力减弱、利用率降低的现象。该概念由相关学术研究提出，揭示了模型倾向于更有效地处理上下文首尾部分的信息，而对中间部分的关键内容存在忽略倾向，对长上下文理解能力评估具有重要参考意义。
核心事实
时间轴 (近 90 天)
《Lost in the Middle》原文作者明确将位置影响视为一个待验证的假设，而非对所有当前模型都成立的普适结论。
多份研究表明，上下文窗口从零token扩展到256K token时，模型解决问题的准确率反而下降。
上下文有三种限制：硬限制（上下文窗口超出报错）、经济限制（成本和首token时间随token增长）、质量限制（上下文越长模型利用越差，'Lost in the Middle'研究表明模型对长上下文开头和结尾信息利用更好，中间较差）。
Lost in the Middle现象由2024年斯坦福与UC伯克利联合研究揭示，其机制与注意力权重的U型分布有关。
验证位置对模型输出影响的实验方法：拿一个已知答案的问题，把正确答案段落分别放在上下文开头、中间、结尾各跑一次，如果答案不一致则说明存在位置敏感性问题。
更大的上下文窗口（16K、100K）并不能解决中间迷失问题，表现几乎与短窗口版本相同
较新的模型在简单的「大海捞针」测试上表现已显著优于2023年的模型，但在真实多文档任务中位置效应仍未消失
应将信号最强的内容放在长提示词的开头和结尾，不要只塞在中间
模型对上下文的利用呈U形曲线：开头准确率最高（首因偏差），结尾次高（近因偏差），中间出现明显凹陷
'中间迷失'（Lost in the Middle）现象在2023年的论文中被系统记录，指上下文中文档数量增多时模型对中间位置内容注意力显著下降
还有 17 条时间轴事件
全部知识事实 (20)
LLM存在'Lost in the Middle'现象，即模型对上下文开头和结尾的信息关注度高，而对中间部分的信息容易忽略
90%已验证当关键信息被放置在长文本的中间位置时，模型的检索和推理准确率会显著下降，而放在开头或结尾的信息则能被较好地利用
85%已验证研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象
80%已验证研究表明大语言模型在处理长文本时存在显著的「中间遗忘」（Lost in the Middle）现象，对输入文本开头和结尾的信息记忆较好，但对中间部分的信息关注度明显下降
80%已验证斯坦福大学2023年发表了研究论文《Lost in the Middle》，实验证明当关键信息被放置在长上下文的中间位置时，模型的检索准确率会大幅下降
80%已验证模型在处理超长上下文时存在'Lost in the Middle'现象，即模型倾向于更好地利用上下文开头和结尾的信息
75%已验证斯坦福大学2023年发布的Lost in the Middle研究（Liu et al.）显示，当关键信息位于上下文中间段时，模型检索准确率相比头部和尾部下降约20-30个百分点，且在上下文超过32K token时尤为显著
70%已验证Lost in the Middle效应指模型对注入上下文中间位置内容的关注度低于首尾
70%已验证Lost in the Middle现象最早由斯坦福大学Nelson F. Liu等人在2023年的论文中系统验证
70%已验证「Lost in the Middle」现象由斯坦福等机构的研究证实
65%已验证研究发现大模型在关键信息位于上下文开头或结尾时表现最好，位于中间位置时性能显著下降，某些任务准确率下降超过20个百分点
65%已验证模型对上下文窗口首尾内容的记忆显著优于中间部分，这一现象被称为「Lost in the Middle」问题
65%已验证大语言模型在长上下文中会出现'Lost in the Middle'现象，最初任务目标在注意力机制中的权重会被稀释（Liu et al., 2023）
65%已验证Transformer架构存在「Lost in the Middle」效应，模型对对话开头和结尾的内容记忆较好，但中间部分容易丢失
65%待验证RAG系统存在迷失在中间（Lost in the Middle）问题，即上下文较长时模型往往忽略中间部分信息而偏向开头和结尾
60%待验证LLM在处理超长上下文时存在「中间遗失（Lost in the Middle）」现象，中段信息的有效召回率可能下降40%以上
60%待验证斯坦福大学 2023 年论文《Lost in the Middle》发现模型对上下文窗口中间位置信息的关注度显著低于开头和结尾，呈现 U 型注意力分布
60%待验证斯坦福大学2023年的研究将Transformer在处理超长上下文时对中间位置信息遗忘率显著高于首尾位置的现象命名为'Lost in the Middle'问题
60%待验证《Lost in the Middle》原文作者明确将位置影响视为一个待验证的假设，而非对所有当前模型都成立的普适结论。
50%待验证多份研究表明，上下文窗口从零token扩展到256K token时，模型解决问题的准确率反而下降。
50%