概念长上下文遗忘 / Attention Dilution

注意力稀释

Transformer架构处理长序列时的一种现象，指注意力权重随上下文长度增加而分散，导致早期信息（如系统提示词中的指令）在后续推理中被边缘化

核心事实

系统提示词的约束力并非绝对，随着对话轮次增加，Transformer自注意力机制中早期token（包括系统提示词）获得的注意力份额会因注意力稀释而递减，这是人格漂移现象的技术根源

即便是Gemini 2.5这类拥有百万Token上下文的模型，在长期复杂任务中也面临注意力稀释问题——随着上下文不断增长，模型对早期信息的关注度会显著下降

8月31日

已验证65%