模型
Linear Transformer
一种将softmax注意力替换为线性核函数的Transformer变体,通过改变计算顺序将注意力复杂度从二次方降至线性,是线性化注意力的经典早期工作。
时间轴 (近 90 天)
10月12日
Performer 和 Linear Transformer 是线性化注意力的早期代表工作,普遍面临困惑度回升和长距离依赖建模变差的问题
待验证50%
一种将softmax注意力替换为线性核函数的Transformer变体,通过改变计算顺序将注意力复杂度从二次方降至线性,是线性化注意力的经典早期工作。
Performer 和 Linear Transformer 是线性化注意力的早期代表工作,普遍面临困惑度回升和长距离依赖建模变差的问题