FourierQK：频域注意力中的滤波器形状与泄漏-覆盖定律

从点积注意力到频域注意力

标准Transformer的注意力机制依赖Query和Key之间的点积运算来衡量token之间的相关性。近期提出的"频率坍缩注意力"（Frequency-collapse attention）尝试用一种全新的思路替代这一经典做法：在学习到的特定频率上，用带通滤波后的内积取代传统的Q/K点积。这一改动在性能上取得了明显超越标准点积注意力的收益。

问题随之而来——如果带通滤波真的有效，那么究竟什么样的滤波器形状最优，背后的原理又是什么？arXiv上这篇题为《FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law》的论文（arXiv:2610.00009），正是围绕这一核心问题展开的系统性消融研究。

FourierQK论文来源截图

频率坍缩注意力（Frequency-collapse attention） 的核心思路是：将Query和Key向量投影到频域后，利用带通滤波器选取特定频率区间的信息，再计算滤波后表示的内积作为注意力分数。与标准Q/K点积不同，这种机制对输入序列的不同频率成分具有选择性——它只关注某一频带内的振荡模式，而屏蔽其余频率。带通（band-pass）滤波器在信号处理中是指只允许某一频率范围内的信号通过、同时抑制该范围之外信号的滤波器。离散傅里叶变换（DFT/FFT）将时域序列分解为一系列不同频率的正弦波叠加，序列中的长程缓慢变化对应低频成分，短程快速抖动对应高频成分，而"段落级"的周期性结构则落在中频带。将这一工具引入注意力机制，本质上是在让模型显式地对特定尺度的上下文依赖关系建模。

五个假设与受控消融实验

研究者在字符级语言建模任务上（TinyShakespeare数据集，6层GPT架构）设计了受控消融实验，针对滤波器的五种属性逐一检验假设：

DC抑制（直流分量，即零频成分）
Nyquist抑制（奈奎斯特频率，即最高频成分）
带宽（bandwidth）
中心频率（centre frequency）
多尺度覆盖（multi-scale coverage）

这种拆解方式的价值在于，它没有停留在"带通滤波有用"这一笼统结论上，而是试图分离出每一个频谱属性对最终性能的独立贡献，从而回答"为什么有效"的机理性问题。

DC与Nyquist分量的反直觉结果

实验的第一个核心发现颇具反直觉色彩：DC分量和Nyquist分量不仅无益，反而主动有害。当保留这些成分时，验证损失退化到约2.0 nats，等价于对相位进行随机化的效果。

这意味着带通注意力的收益并非来自任意的低维频谱摘要，而是来自振荡性的带通结构本身。换言之，注意力机制真正需要的是中频段的振荡模式，直流（恒定偏移）和奈奎斯特（最高频抖动）这两端的信息反而会污染表征。

最优带宽与段落尺度

在单尺度滤波器的配置下，研究发现最优带宽约为 σ ≈ 2 个频率bin，且中心应落在"段落尺度"上——大约对应70个token的跨度。在这一配置下，相比基线的点积注意力（BASE-DOT），获得了 Δ = +1.15 nats 的明显增益。

这个结果揭示了一个有趣的语言结构对应关系：注意力的最优频率并非随意选取，而是与文本的自然语义单元（段落级别的长程依赖）相吻合。频域注意力某种意义上是在显式地建模特定尺度上的周期性语言结构。

容许性滤波器与泄漏-覆盖定律

论文最具理论深度的部分，在于引入了小波分析中的"容许性"（admissibility）概念。

零均值滤波器的优势

满足容许条件的滤波器（零均值、二阶墨西哥帽DOG，即 m=2 的高斯差分）在相同尺度下，表现优于不满足容许条件的普通高斯滤波器。零均值特性天然地抑制了有害的DC分量，同时还对双边FFT泄漏（bilateral FFT leakage）提供了部分保护。

泄漏随覆盖单调增长

研究者提炼出一条"泄漏-覆盖定律"：双边FFT泄漏随频谱覆盖范围单调增长。

窄带滤波器（间隙 gap > +4）：频谱干净，几乎无泄漏
宽带滤波器（间隙 gap < +2）：泄漏严重

这为滤波器设计提供了清晰的工程指导——想要干净的频谱响应，就应该控制带宽，避免覆盖过宽的频段。

容许性（admissibility） 是小波分析中的核心约束条件，要求小波母函数的均值为零（即频谱在零频处的响应为零）。直观地说，一个满足容许性的滤波器必须是"振荡的"而非"偏移的"——它的正负面积相互抵消。这一条件保证了小波变换的可逆性，使信号可以在变换后被完整重建，同时也天然地阻止了直流分量（DC）进入表示。墨西哥帽小波（Mexican Hat） 是高斯函数的二阶导数，又称DOG（Difference of Gaussians，m=2），其形状酷似倒置的帽子：中央为正峰、两侧为负翼，均值严格为零，满足容许性条件。相比之下，普通高斯滤波器均值为正，不满足容许性，因而无法完全抑制DC分量。双边FFT泄漏（bilateral FFT leakage） 则是指在有限长度序列上做FFT时，宽带滤波器会使不同频率的能量相互"渗漏"，导致频谱混叠，从而污染目标频段的表示。

因果性限制与双向注意力的适用边界

第五个发现触及了该方法的根本适用范围。研究者测试了字符尺度上的因果时域Morlet滤波器，结果显示它无法超越BASE-DOT基线。原因在于，K=128个滤波器抽头仅能覆盖 T=256 上下文长度的50%，因果约束下的有限感受野限制了其表达能力。

这一结果揭示了FourierQK的本质定位：它在双向注意力场景中才真正有效——也就是编码器风格的架构（如BERT），在训练和推理时都能访问完整的序列上下文。而对于自回归生成任务（解码器风格，如GPT），则需要一种因果频谱变体，这正是其姊妹论文MorletQK所探讨的方向，后者将实验推进到词级别尺度。

因果注意力（causal attention） 是自回归语言模型（如GPT系列）的核心约束：在生成位置 t 的表示时，模型只能访问位置 1 到 t 的历史token，而不能"看到"未来。这与BERT等编码器模型的双向注意力形成对比——双向注意力可以同时利用序列的左右上下文，因而感受野（receptive field）天然覆盖全序列。Morlet小波 是一种复值小波，由正弦调制的高斯窗构成，能在时域上局部化地捕捉特定频率成分。因果版Morlet滤波器需要对滤波器进行截断，只保留过去方向的抽头（tap），这直接缩小了有效感受野。文中提到K=128个滤波器抽头仅能覆盖T=256上下文的50%，意味着每个位置最多回顾128个历史token，超出该范围的长程依赖信息完全丢失，这正是其在自回归场景下无法超越点积基线的根本原因。

对频域注意力研究的意义

综合这五项发现，FourierQK清晰地刻画了频域注意力的有效边界与设计原则：振荡带通结构不可或缺、最优尺度对应语义单元、容许性滤波器更优、带宽控制决定泄漏程度、因果场景需要专门的变体。

对于研究者而言，这项工作的价值不仅在于具体的消融数据，更在于它把"滤波器设计"从黑箱调参转化为有理论指引的工程问题。随着Transformer架构的持续演进，将信号处理的经典工具（小波、带通滤波、容许性条件）系统性地引入注意力机制，可能成为提升长程建模能力的一条值得关注的路径。论文代码已在GitHub开源（energy-gated-attention 仓库）。