概念Positional Kernel
位置核
注意力机制中由位置编码诱导的相似度函数,衡量查询位置与键位置之间的关系,其数学性质决定长度泛化可能性。
时间轴 (近 90 天)
11月2日
理论的核心工具是模拟转移算子 T_L,它在更长的网格上重新评估一个选定的、能实现长度 L_0 的位置核。
待验证50%
11月2日
位置核是注意力机制中由位置编码诱导出的相似度函数;在单头注意力中,位置核通常表现为标量函数 k(i,j),对于相对位置编码仅依赖于偏移量 i-j,对于绝对位置编码则依赖于 i 和 j 的具体取值。
待验证50%