Context Rot
Context Rot(上下文衰减)是指在大型语言模型或AI Agent处理任务时,随着上下文长度持续增加,模型对早期或关键信息的注意力和利用能力逐渐下降的现象。其主要特征包括:模型在长对话或长文档中对重要信息的遗忘或忽略、推理准确性随上下文累积而降低,以及精简上下文往往能带来更优的输出质量。该概念揭示了长上下文处理中注意力机制的局限性。
核心事实
时间轴 (近 90 天)
LLM 存在 Context Rot 现象:载入 Token 越多,召回精度越低;官方建议 Skill 超过 500 行就该拆分,实战者更倾向控制在 200 行以内。
上下文腐烂(Context Rot)指的是上下文被塞满后导致AI Agent回答质量越来越差的现象
IBM指出更多的上下文并不意味着更好的性能,性能可能随着上下文的膨胀而下降,这一现象被称为上下文腐烂(Context Rot)
全部知识事实 (6)
上下文腐烂(Context Rot)指随对话轮次增加,无关信息积累、注意力预算被低价值内容占满,导致推理质量持续下降
65%待验证上下文腐烂(Context Rot)包含两种不同的故障模式:Distraction(注意力稀释)和Poisoning(因果链污染)
85%待验证LLM 存在 Context Rot 现象:载入 Token 越多,召回精度越低;官方建议 Skill 超过 500 行就该拆分,实战者更倾向控制在 200 行以内。
50%待验证上下文腐烂(Context Rot)指的是上下文被塞满后导致AI Agent回答质量越来越差的现象
50%待验证IBM指出更多的上下文并不意味着更好的性能,性能可能随着上下文的膨胀而下降,这一现象被称为上下文腐烂(Context Rot)
50%待验证尽管上下文窗口很大,上下文腐化(Context Rot)依然是巨大问题,模型对上下文中不同位置信息的注意力分布不均匀(Lost in the Middle效应)
50%