[控场AI]
模型

Linear Transformer

一种将softmax注意力替换为线性核函数的Transformer变体,通过改变计算顺序将注意力复杂度从二次方降至线性,是线性化注意力的经典早期工作。

时间轴 (近 90 天)

10月12日

Performer 和 Linear Transformer 是线性化注意力的早期代表工作,普遍面临困惑度回升和长距离依赖建模变差的问题

待验证50%

全部知识事实 (1)

来源文章