Lost in the Middle
Lost in the Middle 是大型语言模型（LLM）领域的一个研究概念，指模型在处理长文本上下文时，对位于输入序列中间位置的信息表现出注意力减弱、利用率降低的现象。该概念由相关学术研究提出，揭示了模型倾向于更有效地处理上下文首尾部分的信息，而对中间部分的关键内容存在忽略倾向，对长上下文理解能力评估具有重要参考意义。
核心事实
时间轴 (近 90 天)
「中间迷失」（Lost in the Middle）现象由斯坦福大学 Nelson Liu 等人于 2023 年发表的同名论文中系统验证
为缓解中间迷失，建议将关键约束或参考内容前置于上下文开头或结尾，这是目前成本最低的缓解手段
当前LLM的上下文窗口已扩展至128K甚至更长，但长文本中存在'迷失在中间'现象，即模型对文档中间位置信息的关注度显著低于首尾部分
在超长对话中，位于中间位置的信息会被模型注意力机制严重弱化，而对话开头和结尾的内容被赋予最高权重，即迷失在中间问题
「Lost in the Middle」指模型倾向于关注上下文开头和结尾的内容，而忽略中间部分
模型在处理超长上下文时存在'Lost in the Middle'现象，即模型倾向于更好地利用上下文开头和结尾的信息
Opus 5的指令遵循、工具调用和推理能力在整个上下文窗口内都保持一致，不出现中间遗忘现象
编码智能体面临Lost in the Middle问题：代码库文件增多时模型对上下文窗口中间位置信息的注意力显著降低
研究发现大模型在关键信息位于上下文开头或结尾时表现最好，位于中间位置时性能显著下降，某些任务准确率下降超过20个百分点
RAG系统存在迷失在中间（Lost in the Middle）问题，即上下文较长时模型往往忽略中间部分信息而偏向开头和结尾
还有 6 条时间轴事件
全部知识事实 (20)
研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象
80%已验证斯坦福大学2023年发表了研究论文《Lost in the Middle》，实验证明当关键信息被放置在长上下文的中间位置时，模型的检索准确率会大幅下降
80%已验证斯坦福大学2023年发布的Lost in the Middle研究（Liu et al.）显示，当关键信息位于上下文中间段时，模型检索准确率相比头部和尾部下降约20-30个百分点，且在上下文超过32K token时尤为显著
65%已验证Lost in the Middle效应指模型对注入上下文中间位置内容的关注度低于首尾
65%已验证Lost in the Middle现象最早由斯坦福大学Nelson F. Liu等人在2023年的论文中系统验证
65%待验证当关键信息被放置在长文本的中间位置时，模型的检索和推理准确率会显著下降，而放在开头或结尾的信息则能被较好地利用
60%待验证Transformer架构存在「Lost in the Middle」效应，模型对对话开头和结尾的内容记忆较好，但中间部分容易丢失
60%待验证为缓解中间迷失，建议将关键约束或参考内容前置于上下文开头或结尾，这是目前成本最低的缓解手段
50%待验证「中间迷失」（Lost in the Middle）现象由斯坦福大学 Nelson Liu 等人于 2023 年发表的同名论文中系统验证
50%待验证当前LLM的上下文窗口已扩展至128K甚至更长，但长文本中存在'迷失在中间'现象，即模型对文档中间位置信息的关注度显著低于首尾部分
50%待验证在超长对话中，位于中间位置的信息会被模型注意力机制严重弱化，而对话开头和结尾的内容被赋予最高权重，即迷失在中间问题
50%待验证「Lost in the Middle」指模型倾向于关注上下文开头和结尾的内容，而忽略中间部分
50%待验证模型在处理超长上下文时存在'Lost in the Middle'现象，即模型倾向于更好地利用上下文开头和结尾的信息
50%待验证Opus 5的指令遵循、工具调用和推理能力在整个上下文窗口内都保持一致，不出现中间遗忘现象
50%待验证编码智能体面临Lost in the Middle问题：代码库文件增多时模型对上下文窗口中间位置信息的注意力显著降低
50%待验证研究发现大模型在关键信息位于上下文开头或结尾时表现最好，位于中间位置时性能显著下降，某些任务准确率下降超过20个百分点
50%待验证RAG系统存在迷失在中间（Lost in the Middle）问题，即上下文较长时模型往往忽略中间部分信息而偏向开头和结尾
50%待验证LLM在处理超长上下文时存在「中间遗失（Lost in the Middle）」现象，中段信息的有效召回率可能下降40%以上
50%待验证斯坦福大学 2023 年论文《Lost in the Middle》发现模型对上下文窗口中间位置信息的关注度显著低于开头和结尾，呈现 U 型注意力分布
50%待验证主流模型的上下文窗口已从最初的4K扩展到128K甚至更大，但更大的上下文意味着更高的推理延迟和成本
50%