概念additive sinusoidal positional encoding / 正弦位置编码
可加性正弦位置编码
Transformer原论文采用的位置编码方案，将位置的正弦、余弦值直接加到输入词嵌入上，使位置信息作为信号叠加进token表示。
时间轴 (近 90 天)
10月12日
可加性正弦位置编码在相同offset但不同绝对位置下会给出不同的注意力分数，因为点积展开后残留与绝对位置相关的交叉项。
待验证50%
Transformer原论文采用的位置编码方案，将位置的正弦、余弦值直接加到输入词嵌入上，使位置信息作为信号叠加进token表示。
可加性正弦位置编码在相同offset但不同绝对位置下会给出不同的注意力分数，因为点积展开后残留与绝对位置相关的交叉项。