概念自注意力机制
SelfAttention
一种注意力机制,允许模型在处理序列时关注序列中的不同位置。
时间轴 (近 90 天)
10月16日
网络结构上CNN处理21x21的局部观察窗口,LSTM跨步骤携带记忆,CNN之上叠加SelfAttention、MemoryCrossAttention和FiLM三个注意力模块。
待验证50%
10月16日
消融实验显示FiLM几乎承担了全部有效工作,SelfAttention和MemoryCrossAttention在训练好的模型中贡献接近零。
待验证50%