待验证50% 置信事实精确时间

频率坍缩注意力（Frequency-collapse attention）用在学习到的特定频率上带通滤波后的内积取代传统的Q/K点积

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

FourierQK：频域注意力中的滤波器形状与泄漏-覆盖定律

涉及实体

Frequency-collapse attentionconcept

相关事实

待验证标准注意力的计算量随序列长度平方增长，而低秩瓶颈将变换分解为先压缩到r维再展开的两步68% 相似待验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小65% 相似待验证自回归模型生成长序列时注意力机制计算复杂度随序列长度呈二次增长，且误差会累积导致音色漂移65% 相似待验证线性注意力的KV Cache占用与序列长度无关，而传统注意力的缓存随序列长度线性增长65% 相似待验证量化误差具有非均匀分布特性，注意力机制的Q/K/V矩阵和最后几层对量化更为敏感64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/971773

API

curl https://kongchang.com/api/v1/knowledge/claims/971773

MCP

get_claim(id=971773)