概念Recurrent Memory
循环记忆
HyFlash中的一种状态压缩机制,采用RNN式门控更新维护固定维度隐状态,将历史信息逐步压缩进固定大小向量,使内存占用与序列长度无关。
时间轴 (近 90 天)
11月6日
HyFlash采用双路径设计:局部注意力路径负责捕捉近期上下文和草稿位置之间的交互;循环记忆路径将历史目标特征压缩为固定大小的状态。
待验证50%
11月6日
循环记忆的代价是状态容量有限,远期细节会被稀释,因此需要局部注意力路径来补足细粒度信息。
待验证50%
HyFlash中的一种状态压缩机制,采用RNN式门控更新维护固定维度隐状态,将历史信息逐步压缩进固定大小向量,使内存占用与序列长度无关。
HyFlash采用双路径设计:局部注意力路径负责捕捉近期上下文和草稿位置之间的交互;循环记忆路径将历史目标特征压缩为固定大小的状态。
循环记忆的代价是状态容量有限,远期细节会被稀释,因此需要局部注意力路径来补足细粒度信息。