神经记忆模块

Google的Titans架构引入了一个独立的神经记忆模块，该模块会在推理过程中实时更新自身权重，使模型能够在推理阶段持续适应新数据而无需重新训练整个模型。

神经记忆模块是一类在模型推理过程中可动态更新参数的子网络，通常以键值存储或可微记忆矩阵的形式实现，其权重本身会随输入流实时调整。

Titans的贡献在于将神经记忆模块的思路与大规模语言模型结合，让记忆模块在长上下文和流式输入场景中承担经验积累的角色。