OAL
一种离群维度感知的注意力线性化方法，通过识别query-key点积中贡献不均匀的离群维度并对其差异化处理，构造维度感知的二次核，在保持线性时间复杂度的同时降低近似误差。
时间轴 (近 90 天)
论文《Not All Dimensions Are Equal》提出离群维度（outlier dimensions）是标准线性化方法普遍忽视的误差来源
研究发现在 query-key 点积中少数几个维度贡献了不成比例的能量，并占据了近似误差的很大一部分
OAL（Outlier-Aware Attention Linearization）是一种维度感知的二次注意力近似构造方法
OAL 从 softmax 注意力的二阶泰勒近似出发，并引入 Hadamard 乘积表达形式使每个 query-key 维度的贡献显式可见
OAL 按贡献尺度对维度分组，贡献相近的维度共享系数，少数离群维度被单独处理以控制参数量
在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对均方误差降低了约 8.9%
将中间层注意力模块替换为 OAL 并通过 LoRA 联合微调后，WikiText-103 困惑度相比全局二次核从 31.71 降至 27.50
OAL 在 PIQA、HellaSwag 和 ARC-E 等常识推理基准上的准确率有所提升
全部知识事实 (8)
论文《Not All Dimensions Are Equal》提出离群维度（outlier dimensions）是标准线性化方法普遍忽视的误差来源
50%待验证研究发现在 query-key 点积中少数几个维度贡献了不成比例的能量，并占据了近似误差的很大一部分
50%待验证OAL（Outlier-Aware Attention Linearization）是一种维度感知的二次注意力近似构造方法
50%待验证OAL 从 softmax 注意力的二阶泰勒近似出发，并引入 Hadamard 乘积表达形式使每个 query-key 维度的贡献显式可见
50%待验证OAL 按贡献尺度对维度分组，贡献相近的维度共享系数，少数离群维度被单独处理以控制参数量
50%待验证在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对均方误差降低了约 8.9%
50%待验证将中间层注意力模块替换为 OAL 并通过 LoRA 联合微调后，WikiText-103 困惑度相比全局二次核从 31.71 降至 27.50
50%待验证OAL 在 PIQA、HellaSwag 和 ARC-E 等常识推理基准上的准确率有所提升
50%