Routed Continual Learning
一种将持续学习重新定义为路由问题的智能体经验管理架构,通过聚类历史轨迹并用LLM路由器按需选择记忆系统,在保留细节与控制上下文成本间取得平衡
时间轴 (近 90 天)
Routed Continual Learning(Routed CL)是一种决定如何划分与保留经验的持续学习架构,其核心思路是将持续学习视为一个路由问题——不仅选择学习机制,还选择状态簇,而不是全局承诺使用某一种表征。
Routed CL 将过去的轨迹分组为多个簇,每个簇使用一个来自固定记忆系统库中的记忆系统来维护状态;每次运行前,一个基于LLM的路由器会根据问题陈述、记忆系统描述和簇摘要,决定是复用已有簇还是创建新簇。
Routed CL 架构中引入了 Context Memory Adapter,它在记忆系统与智能体循环之间起中介作用,负责将记忆系统的输出转化为智能体可用的上下文信息,确保不同记忆机制都能无缝接入智能体的决策流程。
研究团队在一个异构任务流上评估了 Routed CL,该流交错包含来自六个 CL-Bench 任务的301个实例,以及来自 τ³-Bench 的97个银行领域实例;实验覆盖四种语言模型,并进行了五次匹配的 rollout。
与单一的全局上下文学习(ICL)历史相比,Routed Continual Learning 将归一化奖励提升了可达最大归一化奖励的15-30%。
相对于 Global ICL,Routed Continual Learning 将估算的API成本降低了65-72%。
Routed CL 的方法依赖于LLM路由器的判断准确性以及记忆系统库的设计质量。
未来如何自动扩展记忆系统库、如何处理簇之间的迁移学习,仍是值得探索的方向。
全部知识事实 (8)
Routed Continual Learning(Routed CL)是一种决定如何划分与保留经验的持续学习架构,其核心思路是将持续学习视为一个路由问题——不仅选择学习机制,还选择状态簇,而不是全局承诺使用某一种表征。
50%待验证Routed CL 将过去的轨迹分组为多个簇,每个簇使用一个来自固定记忆系统库中的记忆系统来维护状态;每次运行前,一个基于LLM的路由器会根据问题陈述、记忆系统描述和簇摘要,决定是复用已有簇还是创建新簇。
50%待验证Routed CL 架构中引入了 Context Memory Adapter,它在记忆系统与智能体循环之间起中介作用,负责将记忆系统的输出转化为智能体可用的上下文信息,确保不同记忆机制都能无缝接入智能体的决策流程。
50%待验证研究团队在一个异构任务流上评估了 Routed CL,该流交错包含来自六个 CL-Bench 任务的301个实例,以及来自 τ³-Bench 的97个银行领域实例;实验覆盖四种语言模型,并进行了五次匹配的 rollout。
50%待验证与单一的全局上下文学习(ICL)历史相比,Routed Continual Learning 将归一化奖励提升了可达最大归一化奖励的15-30%。
50%待验证相对于 Global ICL,Routed Continual Learning 将估算的API成本降低了65-72%。
50%待验证Routed CL 的方法依赖于LLM路由器的判断准确性以及记忆系统库的设计质量。
50%待验证未来如何自动扩展记忆系统库、如何处理簇之间的迁移学习,仍是值得探索的方向。
50%