OAL：离群维度感知的注意力线性化新方法

线性化注意力的老问题与新发现

Transformer 的 softmax 注意力机制在推理时需要承担与序列长度二次方相关的计算开销，这使得长序列场景下的效率瓶颈格外突出。线性化（Linearization）一直是业界追求高效推理的重要路径，但一个长期存在的难题是：如何在把注意力近似为线性复杂度的同时，尽可能保留预训练模型原有的注意力行为。

一篇题为《Not All Dimensions Are Equal》的新研究，直指标准线性化方法普遍忽视的一个误差来源——离群维度（outlier dimensions）。研究者发现，在 query-key 点积中，少数几个维度贡献了不成比例的能量，并且占据了近似误差的很大一部分。换句话说，不是所有维度都该被同等对待，用全局共享的系数去统一拟合所有维度，天然就会在这些离群维度上产生较大失真。

OAL 论文：离群维度感知的注意力线性化

线性化注意力的基本思路是用一个核函数 $\phi(q)^\top \phi(k)$ 替代 softmax 中的 $\exp(q^\top k)$，从而将注意力的计算顺序调整为先计算 $\phi(k)^\top v$ 的累积和，再与 $\phi(q)$ 相乘。这样每个 token 的计算量与序列长度无关，整体复杂度从 $O(n^2 d)$ 降至 $O(nd^2)$。早期代表工作包括 Performer（随机特征近似）、Linear Transformer 等。然而这类方法在实践中普遍面临困惑度回升、长距离依赖建模变差的问题，核心原因在于 softmax 的尖锐分布很难被低维特征映射精确还原。DiJiang 等后续工作尝试引入二次项来提升近似精度，但仍以维度均匀对待为前提。OAL 发现的离群维度问题，正是这一均匀假设下系统性低估的误差来源。

OAL 的核心思路：维度感知的二次核

基于上述维度异质性的观察，作者提出了 Outlier-Aware Attention Linearization（OAL），一种维度感知的二次注意力近似构造方法。它的技术路线可以拆成几步来理解。

从二阶泰勒展开到 Hadamard 乘积

OAL 并没有直接套用常见的核函数替换，而是从 softmax 注意力的二阶泰勒近似出发。研究者引入了一种 Hadamard 乘积（逐元素乘积）的表达形式，让每个 query-key 维度上的贡献变得显式可见。这个形式上的改写很关键——它把原本被打包在一起的点积拆解开，为后续区别对待不同维度提供了数学基础。

二阶泰勒展开将 $\exp(x)$ 近似为 $1 + x + x^2/2$，应用到点积注意力时，$\exp(q^\top k)$ 可被展开为常数项、线性项 $q^\top k$ 以及二次项 $(q^\top k)^2/2$ 的组合。关键在于，$(q^\top k)^2$ 可以写成 $(q \odot q)^\top (k \odot k)$ 的形式（其中 $\odot$ 表示逐元素乘积，即 Hadamard 乘积），这使得二次项依然可以分离计算——先对 key 端做累积，再与 query 端点积，从而维持线性时间复杂度。Hadamard 形式的好处是让每个维度的贡献在式子中显式分离，为后续按维度差异化处理（即离群维度分组）提供了直接的数学切入口，而非将所有维度混合在一个全局系数里。

从全局共享系数到维度特定项

传统方法往往使用一组全局共享的系数来构造近似。OAL 则放松了这一约束，支持维度特定的线性项以及跨维度的二次交互项，同时保持可分离（separable）的求值方式——这是维持线性时间复杂度的前提。也就是说，灵活性提升了，但没有牺牲效率。

用分组控制参数量

完全的维度特定会带来参数膨胀。OAL 的巧妙之处在于按贡献尺度对维度分组：贡献相近的维度共享系数，而少数离群维度则被单独处理。这样既保留了对离群项的精细刻画，又把整体参数量控制在合理范围。最终得到的正二次核（positive quadratic kernel）会针对预训练注意力输出进行校准，并在固定头维度下，相对序列长度实现线性时间求值。

实验结果：误差下降与下游提升

论文在 Qwen2.5-0.5B 上进行了验证，结果提供了两个层面的证据。

在冻结注意力（frozen-attention）的近似误差上，OAL 相比 DiJiang 将输出的相对均方误差（MSE）降低了约 8.9%。这说明维度感知的分组确实抓住了标准方法漏掉的误差来源。

在模型转换与微调层面，研究者把中间层的注意力模块替换为 OAL，并通过 LoRA 联合微调核系数。相比一个学习得到的全局二次核，WikiText-103 的困惑度（perplexity）从 31.71 降至 27.50，同时在 PIQA、HellaSwag 和 ARC-E 等常识推理基准上的准确率也有所提升。

这组数字传递的信号是一致的：离群维度感知的分组策略，既改善了纯粹的注意力近似，也有利于把预训练模型平滑转换为线性化版本。

对高效推理的意义

OAL 的价值不只在于一个具体的误差百分比，而在于它重新审视了线性化近似的误差结构。过去的研究大多在核函数形式、特征映射等层面做文章，却默认所有维度地位平等。OAL 指出这一假设在实际模型中并不成立——少数离群维度主导了误差，而针对性处理它们能带来显著收益。

这一思路与大模型量化领域对离群值的关注遥相呼应：在量化中，离群通道同样是精度损失的主要来源，针对性保护离群值已成为主流做法。OAL 把类似的洞察迁移到注意力线性化，为预训练模型的高效化转换提供了一个新的设计维度。

对于希望在不重新训练的前提下，将现有 Transformer 转为线性复杂度推理的开发者来说，OAL 提供的「分组 + 离群特殊处理 + LoRA 校准」组合值得关注。论文代码已在 GitHub 开源（github.com/wuqianyue09/OAL），便于复现与进一步探索。

在大模型量化领域，离群值（outlier）问题已有充分研究。LLM.int8() 发现 Transformer 中部分通道的激活值远超其他通道，直接影响整数量化的精度；SmoothQuant、AWQ 等方法通过对离群通道做缩放迁移或混合精度保护来缓解这一问题。这些量化工作和 OAL 共同揭示了一个更普遍的现象：预训练大模型的中间表示在维度分布上天然是高度非均匀的，少数维度携带了远超比例的信息量。忽视这种非均匀性，无论是做量化还是做注意力线性化，都会在这些关键维度上产生集中的精度损失。OAL 把这一已在量化领域验证的洞察迁移到线性化近似，表明「识别并特殊处理离群维度」可能是高效化改造预训练模型时一条具有跨方法普适性的原则。

小结

OAL 的核心贡献，是把「并非所有维度都平等」这一观察落地为一套可操作的二次核构造方法。它从二阶泰勒展开出发，借助 Hadamard 形式显式化维度贡献，用分组控制参数，并对离群维度单独建模，在保持线性时间求值的同时，实现了近似误差与下游任务表现的双重改善。对于关注高效 Transformer 推理和预训练模型转换的研究者，这是一条兼顾理论动机与实证效果的技术路线。