概念近因注意力
recency bias
语言模型对上下文中越靠近末尾的内容赋予越高权重的普遍倾向，既可导致压缩后失忆，也可被利用来实现状态恢复。
时间轴 (近 90 天)
9月30日
大语言模型倾向于给近期输入和高频词汇分配更多注意力权重，这种现象被称为位置偏差（recency bias）
待验证50%
9月24日
自回归生成模型在预测下一个token时对序列末尾有就近偏好，这一序列末端效应（recency bias）在纯文本研究中已有记录
待验证50%
语言模型对上下文中越靠近末尾的内容赋予越高权重的普遍倾向，既可导致压缩后失忆，也可被利用来实现状态恢复。
大语言模型倾向于给近期输入和高频词汇分配更多注意力权重，这种现象被称为位置偏差（recency bias）
自回归生成模型在预测下一个token时对序列末尾有就近偏好，这一序列末端效应（recency bias）在纯文本研究中已有记录