概念softmax dilution / softmax 稀释
softmax稀释
长上下文退化的三种失效机制之一,指当上下文中候选项数量庞大时,softmax归一化导致注意力权重被平均分摊,关键证据无法获得足够高的注意力权重
时间轴 (近 90 天)
9月22日
论文将长上下文退化与三种机制联系起来:得分混叠、位置混叠和 softmax 稀释
待验证50%
长上下文退化的三种失效机制之一,指当上下文中候选项数量庞大时,softmax归一化导致注意力权重被平均分摊,关键证据无法获得足够高的注意力权重
论文将长上下文退化与三种机制联系起来:得分混叠、位置混叠和 softmax 稀释