[控场AI]
概念Recency Bias

近因偏差

LLM在长上下文中的系统性倾向:对末尾内容的注意力权重显著高于中间部分,与Transformer自注意力分布和位置编码有关

时间轴 (近 90 天)

10月17日

近因偏差是LLM注意力机制的一种系统性倾向:在长上下文中,模型对末尾内容的注意力权重显著高于中间部分,攻击者常利用这一点在用户输入末尾附加“忽略之前所有规则”等指令。

待验证50%
10月15日

在图神经网络的类别增量图学习场景下,新类别陆续到来时模型会出现灾难性遗忘,且预测结果常被最近学到的类别主导,产生近因偏差。

待验证50%
10月15日

可学习路由器在新数据上持续微调会使路由偏向最近的组件,产生路由级近因偏差。

待验证50%

全部知识事实 (3)

来源文章