[控场AI]
概念extreme-value interference

极值干扰

在注意力机制中,随着有效干扰项数量增加,干扰项中的最大注意力得分以√log N速度增长并逼近真实证据得分,导致模型无法有效区分关键证据与干扰内容的现象

时间轴 (近 90 天)

9月22日

论文将上下文退化现象抽象为注意力中的极值干扰(extreme-value interference)问题

待验证50%
9月22日

论文推导出在 softmax 检索框架下,维持固定准确率所需的证据得分边际必须以 Ω(√log N) 速度增长,其中 N 是有效干扰项数量而非上下文长度

待验证50%

全部知识事实 (2)

来源文章