[控场AI]
· 3 分钟阅读· 1,822 字

PASE框架:用可执行程序重构Agent技能进化

PASE框架:用可执行程序重构Agent技能进化

PASE将Agent技能拆为可编辑程序与自然语言描述,以补丁方式定向进化技能,实验一致超越基线超2.8%。

现有LLM Agent技能多表示为自然语言文档,过程逻辑与描述性知识混杂,导致维护困难、难以定向更新。PASE提出程序辅助的可补丁技能进化框架,将可复用的过程逻辑分离为可编辑程序,自然语言仅保留描述性知识,从而支持对可执行组件的定向修改,形成类似“打补丁”的进化机制。论文在多种模型和多个基准上实验,PASE一致优于所有基线,提升超过2.8%,并在进化稳定性和泛化能力上表现更优。文章认为这标志着Agent技能进化从“写文档”走向“写程序+打补丁”的工程化路线,可维护性与性能同等重要,但程序化表示也带来运行环境和跨模型兼容性的新挑战。

当Agent技能学会「打补丁」

LLM Agent要解决复杂交互任务,技能(Skill)是关键——它把可复用的知识编码下来,无需改动模型参数。近期不少研究尝试从Agent的执行轨迹中蒸馏经验,再根据下游任务反馈迭代技能。但现有方法主要把技能表示为自然语言文档,过程逻辑与描述性知识纠缠在一起,维护和进化都变得困难。

PASE(Program-Aided Patchable Skill Evolution)提出了一条新路径:让技能与可执行程序关联,通过程序辅助的方式迭代进化技能。论文声称在多种模型和基准上一致超越所有基线,取得超过2.8%的提升。

PASE框架示意图

自然语言技能的痛点

把技能写成自然语言文档,直观但有结构性缺陷。过程性逻辑(先做什么、再做什么、出错怎么回退)和描述性知识(概念解释、约束条件)混在同一段文本里,一旦需要修正某个步骤,往往要重写整段描述,还可能引入无关变更。

更大的问题在于难以做定向更新。Agent执行轨迹蒸馏出的经验,很多是可复用的操作序列,用自然语言表达会损失精确性,也容易被模型以不同方式解读。技能越复杂,自然语言文档的维护成本越高,进化过程越不稳定。

LLM Agent技能蒸馏通常指从Agent执行任务的历史轨迹中提取可复用经验,将其固化为技能表示,供后续任务直接调用。这一过程无需更新模型参数,因而成本较低,且能持续积累。但蒸馏出的经验往往包含大量具体操作序列与上下文约束,若仅用自然语言记录,既难以精确还原执行逻辑,也不便于后续按需修改。PASE所针对的正是这一表示瓶颈——把可复用的过程性知识从自然语言文档中剥离出来,交由可执行程序承载。

PASE的核心思路:分离程序与描述

PASE的做法是把技能拆成两部分:可编辑的程序承载可复用的过程逻辑,自然语言则保留描述性知识。这样一来,对可执行组件的定向更新成为可能,不必反复修订自然语言技能文档。

这相当于给技能引入了“补丁”机制:当下游任务反馈显示某个环节需要调整,直接修改对应程序模块即可,其余部分保持不动。论文将其描述为program-aided framework,技能进化以程序为锚点迭代进行。

程序辅助(Program-Aided) 在这里指技能的核心过程逻辑由可执行程序模块表示,而非纯文本描述。自然语言仍负责解释概念、约束和适用条件,但“先执行哪一步、条件分支如何走、异常如何回退”等操作序列被编码为程序。这样,当下游反馈要求调整某个环节时,只需定位并修改对应程序模块,形成类似软件补丁的定向更新,而不必重写整份技能文档。程序化表示还使技能行为更确定、更易被不同模型一致地执行,但也要求技能与运行环境、接口约定保持兼容。

实验表现与稳定性

论文在多种模型和多个基准上做了实验,PASE一致优于所有基线,提升幅度超过2.8%。除了绝对性能,进一步分析显示PASE在进化稳定性和泛化能力上表现更好——这恰恰对应了自然语言方案的结构性弱点:反复修订带来的漂移,以及描述性知识对具体任务的过拟合。

作者强调,程序化知识在技能进化中起关键作用。数据与代码将通过GitHub释放。

进化稳定性衡量的是技能在多轮迭代更新中性能是否持续提升而非剧烈波动或退化。自然语言技能在反复修订时容易引入无关变更,导致技能漂移;而程序化表示通过模块化补丁,能把每次修改限定在局部,降低意外副作用。泛化能力则指技能迁移到未见任务时的表现。描述性知识若过度贴合具体任务,容易过拟合;程序承载的过程逻辑更抽象、更可复用,因而在新任务上往往表现更稳。PASE在这两项分析上的优势,正是其表示方式带来的结构性收益。

为什么值得关注

Agent技能进化正从“写文档”走向“写程序+打补丁”的工程化路线。PASE的价值不只在那2.8%的提升,更在于它把技能的可维护性摆到了与性能同等的位置。对于需要长期迭代、多任务复用的Agent系统,可定向修补的技能表示可能比一次性蒸馏出的自然语言经验更实用。

当然,程序化表示也带来新问题:程序的可执行性依赖运行环境与接口约定,跨模型的兼容性需要额外设计。论文的实验覆盖了多种模型,但具体机制细节仍有待代码开源后验证。

#PASE#Agent技能进化#程序辅助#LLM Agent#技能表示#可执行程序
分享:

相关推荐