[控场AI]
概念自注意力机制

SelfAttention

一种注意力机制,允许模型在处理序列时关注序列中的不同位置。

时间轴 (近 90 天)

10月16日

网络结构上CNN处理21x21的局部观察窗口,LSTM跨步骤携带记忆,CNN之上叠加SelfAttention、MemoryCrossAttention和FiLM三个注意力模块。

待验证50%
10月16日

消融实验显示FiLM几乎承担了全部有效工作,SelfAttention和MemoryCrossAttention在训练好的模型中贡献接近零。

待验证50%

全部知识事实 (2)

来源文章