[控场AI]
· 4 分钟阅读· 2,230 字

GEPA-Curator:让智能体自我进化时学会筛选经验

GEPA-Curator:让智能体自我进化时学会筛选经验

GEPA-Curator通过任务筛选与成功经验检索,让提示优化器只学习可靠经验,在多个智能体基准上超越基线。

GEPA-Curator 针对反思式提示优化器(如 GEPA)不加区分吸收失败轨迹的问题,提出先筛选值得学习的任务再优化提示。其核心观察是智能体失败可能源于提示缺陷、执行框架限制、随机波动或评判噪声,并非所有失败都能提供有效学习信号。框架增加两个组件:任务筛选在优化前排除噪声大、不可靠的任务;成功经验检索为优化器提供过去成功轨迹作为正向参考,避免提示过度防御。在 GoBrowse、ALFWorld、AppWorld 和 τ-bench 四个基准上,使用 Gemini 3.1 Pro 和 Claude Opus 5 作为优化器模型,GEPA-Curator 平均性能达到或超过基线,相比 GEPA 最高提升 20.7%,相比 ACE 最高提升 21.2%。文章指出,自我改进智能体的经验质量比数量更重要,任务筛选和成功轨迹检索可作为优化流程的前置步骤。

大语言模型正越来越多地参与多轮智能体任务,需要在复杂环境中持续交互。传统的反思式提示优化器(如GEPA)能从失败轨迹中学习,但智能体的失败未必都源于提示本身的缺陷——执行框架的局限、随机波动、甚至评判模型的噪声,都可能造成失败。这类失败不仅难以提供有效的学习信号,还可能把优化器引向错误方向。GEPA-Curator的核心主张正是:与其让提示优化器吞下所有经验,不如先筛选出值得学习的任务。

GEPA-Curator论文标题截图

智能体失败不等于提示需要改进

GEPA这类反思式优化器的工作方式是:收集智能体执行任务的轨迹,根据成功或失败进行反思,再据此改写提示。但论文作者指出,失败信号的来源是多源的。提示措辞可能只是其中一个因素,工具调用的稳定性、环境状态的随机性、甚至自动评判器的误判,都会让一次失败看起来像是提示问题。

如果优化器不加区分地吸收这些信号,就会学到错误的因果关系。举例来说,一个任务失败可能是因为执行框架不支持某个操作,而非提示没有说清楚,此时修改提示既不能解决问题,还可能破坏原本有效的部分。因此,筛选学习信号成为提升自我改进智能体性能的关键一步。

两个组件:任务筛选与成功经验检索

GEPA-Curator在原有提示优化器之上增加了两个模块,分别从"过滤噪声"和"补充正向样本"两个方向入手。

任务筛选:剔除不可靠的学习信号

第一个组件是任务筛选(task curation)。它会在优化前判断哪些任务更可能提供噪声大、不可靠的学习信号,并将其排除在优化过程之外。这样做的逻辑很直接:并非所有失败都值得学习,有些失败只会稀释优化器的注意力,甚至引入错误的修改方向。通过让优化器只关注那些失败原因更可能归因于提示的任务,学习效率和质量都能得到改善。

任务筛选(task curation)在实现上通常依赖一个可学习的“价值估计器”或启发式规则,对每条轨迹的可学习性打分。常见信号包括:失败是否可复现、失败是否与提示内容存在因果关联、以及评判器给出的置信度。GEPA-Curator 的具体机制未在正文展开,但其设计目标与数据筛选(data pruning)或课程学习(curriculum learning)中的样本价值排序思路一致——通过排除低质量样本,降低优化器在错误方向上的更新概率。

成功经验检索:为优化器提供正向参考

第二个组件是成功经验检索(prior success retrieval)。对于某个任务,它会选择性地检索过去成功完成的轨迹,并将其作为额外上下文提供给提示优化器。失败轨迹告诉优化器"哪里可能有问题",而成功轨迹则提供了"什么样的提示和执行路径是可行的"这一正向参照。两者结合,优化器在改写提示时就有了更完整的依据,而不是只盯着失败案例反复修补。

这种设计也回应了一个常见问题:纯粹的失败驱动优化容易让提示变得过度防御,堆砌大量限制条件,反而损害了正常情况下的表现。引入成功轨迹作为参照,有助于在修正问题的同时保留有效的行为模式。

成功经验检索依赖一个可检索的历史轨迹库。每条轨迹通常以任务描述、执行动作序列和最终结果作为索引,检索时根据任务语义相似度或执行路径相似度召回。将成功轨迹作为上下文注入优化器,本质上是一种检索增强生成(RAG)在提示优化场景的应用:它不微调模型参数,而是动态提供参考样例,引导优化器生成更符合可行行为模式的提示改写。

实验表现:在多类智能体基准上持平或超越基线

论文在四个智能体基准上评估了GEPA-Curator:GoBrowse、ALFWorld、AppWorld和τ-bench。优化器模型分别使用了Gemini 3.1 Pro和Claude Opus 5。

结果显示,GEPA-Curator在平均性能上达到或超过了两个基线。相比GEPA,性能提升最高可达20.7%;相比ACE,提升最高可达21.2%。这些数据来自论文摘要,具体任务分布和消融细节需要参考完整论文。但可以确认的是,筛选学习经验这一思路在两个不同的优化器模型和多个异构环境中都表现出了效果,说明其收益并非依赖某一特定模型或单一任务类型。

文中基线 ACE(Agentic Context Engineering)是一种通过上下文工程改进智能体表现的方法,侧重于利用执行上下文而非改写提示本身。GEPA(Generalized Reflective Prompt Optimizer)则是一种基于反思的提示优化器,通过分析失败轨迹来迭代改写提示。将 GEPA-Curator 与二者对比,可以检验筛选机制是否在纯反思优化和上下文工程两条路线上都带来增益。

对自我改进智能体的启示

GEPA-Curator的价值不止于一个具体的优化框架。它提出了一个更普遍的问题:当智能体开始从自身经验中学习时,经验的质量比数量更重要。在数据侧做筛选、在信号侧做增强,这类思路可以迁移到更广泛的智能体训练和提示工程流程中。

对于构建多轮智能体系统的团队来说,这意味着在设计自我改进循环时,需要先回答"哪些经验值得学",而不是默认所有轨迹都是等价的训练材料。把任务筛选和成功轨迹检索作为优化流程的前置步骤,可能是提升智能体长期表现的一种务实做法。

#GEPA-Curator#自我改进智能体#提示优化#智能体学习#任务筛选#成功经验检索#LLM智能体
分享:

相关推荐