Context Rot

Context Rot（上下文衰减）是指在大型语言模型或AI Agent处理任务时，随着上下文长度持续增加，模型对早期或关键信息的注意力和利用能力逐渐下降的现象。其主要特征包括：模型在长对话或长文档中对重要信息的遗忘或忽略、推理准确性随上下文累积而降低，以及精简上下文往往能带来更优的输出质量。该概念揭示了长上下文处理中注意力机制的局限性。