人物

Vaswani

深度学习研究者，《Attention Is All You Need》论文的主要作者，Transformer架构的提出者之一

时间轴 (近 90 天)

10月15日

标准 softmax 注意力（Vaswani 等，2017）在序列长度 n 上具有 O(n^2) 的时间与显存复杂度。

待验证50%

10月12日

可加性正弦位置编码在相同offset但不同绝对位置下会给出不同的注意力分数，因为点积展开后残留与绝对位置相关的交叉项。

待验证50%

8月4日

Transformer最初由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，用于机器翻译任务

待验证95%

Transformer最初由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，用于机器翻译任务

标准 softmax 注意力（Vaswani 等，2017）在序列长度 n 上具有 O(n^2) 的时间与显存复杂度。

可加性正弦位置编码在相同offset但不同绝对位置下会给出不同的注意力分数，因为点积展开后残留与绝对位置相关的交叉项。