[控场AI]
概念softmax dilution / softmax 稀释

softmax稀释

长上下文退化的三种失效机制之一,指当上下文中候选项数量庞大时,softmax归一化导致注意力权重被平均分摊,关键证据无法获得足够高的注意力权重

时间轴 (近 90 天)

9月22日

论文将长上下文退化与三种机制联系起来:得分混叠、位置混叠和 softmax 稀释

待验证50%

全部知识事实 (1)

来源文章