[控场AI]
概念Frequency-collapse attention

频率坍缩注意力

一种新型注意力机制,将Query和Key向量投影到频域后,利用带通滤波器选取特定频率区间的信息,再计算滤波后表示的内积作为注意力分数,替代传统Q/K点积运算

来源文章