CLAM:单次前向传播实现LLM长期记忆权重巩固

CLAM通过超网络将对话激活流即时编译为低秩适配器,实现无需梯度的LLM长期记忆巩固。
CLAM提出一种融合参数化巩固与情景缓冲的双通道LLM长期记忆方案。其循环超网络将会话激活流单次前向传播编译为低秩适配器,无需梯度步骤或生成调用即可即时更新模型权重;情景缓冲则在推理时提供逐字细节。门控潜在状态以固定大小跨会话携带知识,避免模型膨胀。在LoCoMo和LongMemEval-S基准上,CLAM领先智能体基线1-45个百分点、领先梯度方法10-45个百分点,构建记忆耗时减少3-151倍。消融实验表明参数化巩固与情景记忆互补,为智能体长期记忆提供了高效新范式。
大型语言模型(LLM)的长期记忆一直是智能体(Agent)系统的关键瓶颈。传统的智能体记忆方案通过提取对话经验为文本并在查询时检索,但模型本身并未进化——无论交互多少次,每次查询都从相同的权重起点开始。这种分离式设计导致提取错误累积、跨会话隐式模式无法浮现,且构建成本随对话增长而线性上升。另一方面,对历史交互进行微调虽能改变权重,却需要在服务时进行反向传播,且在长历史下性能退化。近期提出的CLAM(Carried Latent Adapter Memory)试图融合两者优势,为LLM的长期记忆提供一种无需梯度步骤、无需生成调用的即时权重空间巩固方案。

现有记忆方案的困境
当前主流的智能体记忆系统分为两类:基于文本提取的检索式和基于参数微调的梯度式。检索式方案将交互经验压缩为文本片段,在推理时通过检索增强生成(RAG)提供上下文。这种方式实现简单,但存在明显缺陷:每次查询都从相同的模型权重开始,模型本身没有从历史中学习;提取过程可能引入错误,且这些错误会在后续交互中复合放大;更重要的是,某些跨会话的隐式模式无法被任何单一文本片段完整表述,检索机制难以捕捉这种全局结构。
梯度式方案则尝试通过对历史交互进行微调来更新模型权重。理论上,这能让模型真正“记住”经验,但实践上却面临服务时反向传播的高昂计算成本,而且随着历史长度增加,微调效果会退化——模型可能遗忘旧知识或过拟合近期数据。两种方案各有局限,亟需一种既能实现参数化巩固又无需在线梯度的新方法。
检索增强生成(RAG) 是一种将信息检索与文本生成相结合的技术范式:系统先从外部知识库中检索与当前查询相关的文档片段,再将这些片段作为上下文注入LLM的提示中,引导模型生成更准确的回答。在智能体记忆场景下,RAG常被用于从历史对话中召回相关经验。然而,RAG的本质是“条件化生成”而非“参数化学习”——模型权重不变,每次推理仍从同一初始状态出发,因此无法内化跨会话的隐式模式,且检索质量高度依赖文本提取的准确性。
CLAM的核心设计:双通道记忆
CLAM的创新在于将参数化巩固与情景缓冲结合为双通道记忆系统。其核心是一个循环超网络(recurrent hypernetwork),它执行参数化巩固:将一系列会话激活流编译为一个低秩适配器(low-rank adapter),整个过程仅需一次前向传播,无需梯度步骤,也无需语言模型生成调用。这意味着模型可以在不中断服务的情况下即时更新权重,且更新成本与历史长度无关。
另一边,一个互补的情景缓冲(episodic buffer)在推理时提供逐字细节。参数化记忆与情景记忆各司其职:前者捕捉跨会话的抽象模式,后者保留具体事实。一个门控潜在状态(gated latent state)以固定大小跨会话携带知识,使得参数化记忆能够持续累积而不增长——这解决了传统微调中模型大小随历史膨胀的问题。
超网络(Hypernetwork) 是一类专门生成另一神经网络权重的网络。与传统网络直接输出预测不同,超网络接收某种输入(如任务描述、激活流或上下文向量),并输出目标网络的部分或全部参数。CLAM中的循环超网络接收会话激活流,输出一个低秩适配器的权重,从而在不执行反向传播的情况下实现“即时权重更新”。这种设计将“学习”从梯度优化转变为一次前向生成,大幅降低了在线巩固的计算开销。
低秩适配器(Low-Rank Adapter) 源自参数高效微调(PEFT)领域,其核心思想是不直接修改预训练模型的全部权重,而是插入少量可训练参数。具体而言,对于某个权重矩阵 W,适配器将其更新表示为两个低秩矩阵的乘积 ΔW = A·B,其中 A 和 B 的秩远小于原矩阵维度。这使得可训练参数量大幅减少,同时保持较强的表达能力。CLAM利用超网络生成这种低秩适配器,既控制了记忆的存储开销,又避免了对原始模型权重的破坏性修改。
实验表现:全面领先
在LoCoMo和LongMemEval-S两个长期记忆基准上,CLAM在三个开源模型(2-7B参数)上进行了评估。结果显示,CLAM在所有智能体基线方法上领先1-45个百分点,在所有基于梯度的参数化方法上领先10-45个百分点。更关键的是,CLAM在构建记忆时不需要任何生成式LLM调用、不需要梯度步骤,且实际耗时比提取式系统少3-151倍。这种效率优势使得CLAM在真实服务场景中具有极高的可行性。
双通道的互补性在消融实验中得到了验证:当情景缓冲未能命中黄金证据时,巩固后的适配器仍能带来12-15个百分点的准确率提升;即使使用理想缓冲(oracle buffer),适配器仍能贡献4-5个百分点的增益。这表明参数化巩固并非情景记忆的替代品,而是有力的补充。
对LLM记忆架构的启示
CLAM的意义不仅在于性能数字,更在于它提出了一种新的记忆巩固范式:通过超网络将激活流即时编译为权重更新,绕过了传统微调的在线梯度瓶颈。这种“单次前向传播即巩固”的思路,为LLM在持续交互中实现真正的参数化学习提供了可行路径。对于需要长期记忆的智能体应用(如个人助理、客服机器人、持续学习系统),CLAM展示了一种兼顾效率与效果的解决方案。
当然,CLAM目前仅在2-7B参数的开源模型上验证,其在更大规模模型上的表现尚待研究。此外,低秩适配器的容量限制、门控状态的信息瓶颈等问题,也可能在更复杂的场景中暴露。但无论如何,CLAM为LLM长期记忆的研究开辟了一条值得关注的新方向。
随着智能体系统对长期记忆需求的增长,如何在不变更模型服务流程的前提下实现权重空间的即时巩固,将成为重要的研究课题。CLAM的尝试表明,参数化记忆与情景记忆的融合,或许是通往更持久、更自适应LLM的关键一步。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。