FourierQK
发表于arXiv的研究论文，系统研究频域注意力机制中滤波器形状的最优设计，引入容许性概念并提出泄漏-覆盖定律，探讨带通滤波替代传统Q/K点积注意力的原理
时间轴 (近 90 天)
FourierQK论文（arXiv:2610.00009）题为《FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law》，围绕最优滤波器形状及其原理展开系统性消融研究
研究者在字符级语言建模任务上（TinyShakespeare数据集，6层GPT架构）设计了受控消融实验，针对DC抑制、Nyquist抑制、带宽、中心频率、多尺度覆盖五种滤波器属性逐一检验假设
保留DC分量和Nyquist分量时验证损失退化到约2.0 nats，等价于对相位进行随机化的效果，说明这两端信息主动有害
单尺度滤波器配置下，最优带宽约为σ≈2个频率bin，中心应落在约对应70个token跨度的段落尺度上
在最优配置下，相比基线点积注意力（BASE-DOT）获得了Δ=+1.15 nats的增益
满足容许条件的滤波器（零均值、二阶墨西哥帽DOG，m=2高斯差分）在相同尺度下表现优于不满足容许条件的普通高斯滤波器
泄漏-覆盖定律指出双边FFT泄漏随频谱覆盖范围单调增长；窄带滤波器（gap>+4）频谱干净几乎无泄漏，宽带滤波器（gap<+2）泄漏严重
字符尺度上的因果时域Morlet滤波器无法超越BASE-DOT基线，因为K=128个滤波器抽头仅能覆盖T=256上下文长度的50%
FourierQK在双向注意力场景（编码器风格架构如BERT）中才真正有效，自回归解码器风格任务需要因果频谱变体
FourierQK论文代码已在GitHub的energy-gated-attention仓库开源
全部知识事实 (10)
FourierQK论文（arXiv:2610.00009）题为《FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law》，围绕最优滤波器形状及其原理展开系统性消融研究
50%待验证研究者在字符级语言建模任务上（TinyShakespeare数据集，6层GPT架构）设计了受控消融实验，针对DC抑制、Nyquist抑制、带宽、中心频率、多尺度覆盖五种滤波器属性逐一检验假设
50%待验证保留DC分量和Nyquist分量时验证损失退化到约2.0 nats，等价于对相位进行随机化的效果，说明这两端信息主动有害
50%待验证单尺度滤波器配置下，最优带宽约为σ≈2个频率bin，中心应落在约对应70个token跨度的段落尺度上
50%待验证在最优配置下，相比基线点积注意力（BASE-DOT）获得了Δ=+1.15 nats的增益
50%待验证满足容许条件的滤波器（零均值、二阶墨西哥帽DOG，m=2高斯差分）在相同尺度下表现优于不满足容许条件的普通高斯滤波器
50%待验证泄漏-覆盖定律指出双边FFT泄漏随频谱覆盖范围单调增长；窄带滤波器（gap>+4）频谱干净几乎无泄漏，宽带滤波器（gap<+2）泄漏严重
50%待验证字符尺度上的因果时域Morlet滤波器无法超越BASE-DOT基线，因为K=128个滤波器抽头仅能覆盖T=256上下文长度的50%
50%待验证FourierQK在双向注意力场景（编码器风格架构如BERT）中才真正有效，自回归解码器风格任务需要因果频谱变体
50%待验证FourierQK论文代码已在GitHub的energy-gated-attention仓库开源
50%