概念Recency Bias
近因偏差
LLM在长上下文中的系统性倾向:对末尾内容的注意力权重显著高于中间部分,与Transformer自注意力分布和位置编码有关
时间轴 (近 90 天)
10月17日
近因偏差是LLM注意力机制的一种系统性倾向:在长上下文中,模型对末尾内容的注意力权重显著高于中间部分,攻击者常利用这一点在用户输入末尾附加“忽略之前所有规则”等指令。
待验证50%
10月15日
在图神经网络的类别增量图学习场景下,新类别陆续到来时模型会出现灾难性遗忘,且预测结果常被最近学到的类别主导,产生近因偏差。
待验证50%
10月15日
可学习路由器在新数据上持续微调会使路由偏向最近的组件,产生路由级近因偏差。
待验证50%