[控场AI]
· 4 分钟阅读· 2,007 字

矩阵加步骤:让工具型智能体真正从经验中学习

矩阵加步骤:让工具型智能体真正从经验中学习

智能体记忆系统只从外部验证的成功中学习,以联想矩阵加有序步骤记录复用经验。

本文介绍了一种面向生产级智能体平台的新型记忆系统,核心原则是「只相信外部验证的结果」:每次运行被记录为情景,但只有经测试、工具返回或人工确认的输出才被认定为成功,智能体自评成功一律不作数。情景中习得的知识存入两部分记忆——用 delta 规则写入的联想矩阵负责根据情境查找适用程序,可寻址的有序步骤记录负责维护执行顺序与结果计数。仿真实验显示,外部验证能显著提升机器人实际任务解决率;十万条情景存储测试中,检索保持十几毫秒级延迟,且不会召回无效或他人记忆,精确记录使任务重访首次即成功。

智能体调用工具、机器人执行任务时,常陷入两个困境:重复犯过的错误,以及从「自以为成功」的运行中学习。针对这些问题,研究者为生产级智能体平台构建了一种新型记忆系统,通过情景记忆与程序记忆的结合,让智能体能够可靠地积累和复用经验。

工具型智能体的记忆方法

核心设计:外部验证与双模块记忆

该记忆系统的根基在于「只相信外部验证的结果」。每一次运行都被记录为一个情景(episode),但只有经过外部检查、测试、工具返回结果或人工确认的输出才被认定为成功;智能体自身的宣称永远不作数。这一原则直接回应了「从虚假成功中学习」的痛点。

从情景中习得的知识被存入一个两部分组成的记忆:

  • 联想矩阵:使用 delta 规则写入,负责根据当前情境找到适用的程序。它本质上是一个「查找器」,因为矩阵将关联求和,不保留顺序,无法单独返回或删除某一条记录。
  • 有序步骤记录:一组可寻址的步骤记录,回答「给定步骤之后应该做什么」。这里的步骤是智能体的目标,而非具体动作。顺序、结果计数和删除操作都存放在这些记录中。

这种分工解决了矩阵无法维护顺序的缺陷,同时保留了其快速联想的能力。

Delta 规则是联想记忆中的一种经典学习规则,最早可追溯到 20 世纪 60 年代的感知机学习算法。其基本形式为:当输入模式与输出目标同时出现时,按照两者乘积(或误差信号)对连接权重进行增量调整,即 Δw = η·x·y。在本系统中,delta 规则用于将情景中的「情境—程序」关联写入联想矩阵,使相似情境能够激活相应程序。由于该规则只做关联求和,不记录写入顺序,矩阵天然不具备序列化能力;这正是需要额外维护有序步骤记录的原因。Delta 规则的优势在于计算简单、支持在线增量更新,适合高频写入的智能体记忆场景。

从仿真到真实存储:外部验证的价值

在仿真环境中,一个自行判断成功并在自认为完成时停止的机器人,报告完成了绝大多数任务,但实际解决率却很低;引入外部验证后,其实际解决率大幅提升。这一对比清晰地量化了「自评成功」的危害——智能体容易高估自身表现,而外部检查能纠正这种偏差。

在一个包含十万条合成情景的存储测试中(磁盘占用数百 MB),系统表现出几个关键特性:最旧的情景仍能被优先找到,不会返回他人记忆中的情景,仅由模型自身担保的成功记录永远不会被召回。查询延迟在笔记本电脑上仅为十几毫秒,在服务器节点上也只有几十毫秒(中位数)。任务结果被测量到约一万条确认记录,在这些记录上,精确记录让每一次重访都在首次尝试时成功解决。

这些结果说明,情景记忆的规模扩展并不会牺牲检索的准确性和速度,而外部验证机制有效过滤了不可靠的经验。

情景记忆(episodic memory)这一概念源自认知心理学,由 Endel Tulving 于 1972 年提出,指个体对特定时间、地点和事件经历的自传式记忆,与存储一般知识的语义记忆相对。在人工智能领域,情景记忆被借用为一种经验存储机制:智能体将每一次任务执行及其上下文、结果作为一条独立记录保存,后续遇到相似情境时可检索并复用。与参数化学习不同,情景记忆不修改模型权重,而是以外部存储的方式实现「非参数化」的经验积累,因而具备可解释、可删除、可审计的特性。本文系统正是将情景记忆作为程序记忆的原始素材来源,只从外部验证成功的情景中提炼可复用程序。

对工具型智能体的启示

该方法的独特之处在于将「程序性记忆」拆解为联想查找与有序步骤记录两个互补部分。联想矩阵快速定位适用程序,步骤记录则维护执行顺序和结果统计,两者结合既避免了矩阵的无序性缺陷,又保留了其泛化能力。

对于构建生产级智能体的团队而言,这一设计提供了可落地的参考:记忆的写入必须以外部验证为前提,否则智能体将不断强化错误行为;同时,记忆结构需要同时支持快速联想和精确的步骤追踪,才能让智能体在复杂任务中稳定复用经验。

目前该系统已在生产智能体平台中构建,其文件格式和检索机制为后续研究提供了可复现的基础。随着智能体应用场景的扩展,这种基于情景与程序双记忆的架构有望成为工具型智能体的标准组件之一。

程序记忆(procedural memory)同样是认知科学术语,指关于「如何做」的技能与习惯性操作记忆,例如骑车、打字,通常难以用语言显式描述。在智能体语境下,程序记忆对应可复用的任务执行策略或步骤序列。本文的创新在于将程序记忆拆分为两个互补模块:联想矩阵承担「情境到程序」的快速匹配,有序步骤记录承担「步骤到步骤」的序列展开。这种拆分借鉴了认知科学中陈述性记忆与程序性记忆分离的思想,同时规避了纯联结主义存储在序列信息上的固有短板,为智能体经验复用提供了兼具泛化与精确性的工程方案。

#工具型智能体#情景记忆#程序记忆#联想矩阵#外部验证#智能体记忆#机器人学习
分享:

相关推荐