概念extreme-value interference
极值干扰
在注意力机制中,随着有效干扰项数量增加,干扰项中的最大注意力得分以√log N速度增长并逼近真实证据得分,导致模型无法有效区分关键证据与干扰内容的现象
时间轴 (近 90 天)
9月22日
论文将上下文退化现象抽象为注意力中的极值干扰(extreme-value interference)问题
待验证50%
9月22日
论文推导出在 softmax 检索框架下,维持固定准确率所需的证据得分边际必须以 Ω(√log N) 速度增长,其中 N 是有效干扰项数量而非上下文长度
待验证50%