概念Memory Cross Attention
MemoryCrossAttention
一种注意力机制,用于让当前输入查询历史记忆中的信息。
时间轴 (近 90 天)
10月16日
网络结构上CNN处理21x21的局部观察窗口,LSTM跨步骤携带记忆,CNN之上叠加SelfAttention、MemoryCrossAttention和FiLM三个注意力模块。
待验证50%
10月16日
消融实验显示FiLM几乎承担了全部有效工作,SelfAttention和MemoryCrossAttention在训练好的模型中贡献接近零。
待验证50%