概念Context Rot
上下文腐化
指随着输入上下文变长,大模型对中间位置信息的检索与推理准确率下降、易被陈旧或矛盾信息误导的现象,源于注意力权重被无关 token 稀释
时间轴 (近 90 天)
10月17日
业界用「上下文腐化」(Context Rot)描述随着输入变长,模型对中间位置信息的检索与推理准确率下降的现象。
待验证50%
9月25日
按需加载机制能把不相关的指令挡在工作上下文之外,避免上下文腐化
待验证50%
指随着输入上下文变长,大模型对中间位置信息的检索与推理准确率下降、易被陈旧或矛盾信息误导的现象,源于注意力权重被无关 token 稀释
业界用「上下文腐化」(Context Rot)描述随着输入变长,模型对中间位置信息的检索与推理准确率下降的现象。
按需加载机制能把不相关的指令挡在工作上下文之外,避免上下文腐化