模型
Performer
一种基于随机特征近似的线性化Transformer模型，通过随机特征映射将softmax注意力近似为线性复杂度，以降低序列建模的计算开销。
时间轴 (近 90 天)
10月12日
Performer 和 Linear Transformer 是线性化注意力的早期代表工作，普遍面临困惑度回升和长距离依赖建模变差的问题
待验证50%
10月10日
线性注意力（如Performer、RWKV）通过核函数近似将复杂度压到O(N)，但精确召回能力通常明显弱于全注意力
待验证50%