父代继承：LLM优化器的隐藏引擎

迭代式语言模型优化器通过评估候选方案、向提议模型展示失败样本、保留有效修订来精炼提示和程序。近期研究将这一循环的局限归因于单轮反思的狭窄性，于是引入全量错误聚类、定向小批量或更大规模的提议模型，让优化器每步看到更多失败模式。然而，现有评估都在保持谱系的搜索中进行，每个修订都编辑一个存活的父代，这使得父代继承的贡献与每轮反馈的广度混为一谈。一项涵盖九个提示与程序合成基准、1750次预注册运行的研究，在匹配评估预算下将父代继承与反馈披露分离，得出了反直觉的结论。

谱系即记忆：贪婪继承的主导作用

研究发现，贪婪的父代继承驱动了优化进程的绝大部分进展。即使种子重置重采样在每轮都收到所有失败的聚类摘要，或使用更大的提议模型，其表现仍不及贪婪继承。这意味着，优化器持续编辑一个存活的父代，本身就是在累积和利用记忆——已解决的错误模式保留在候选方案中，并从后续失败列表中过滤掉。谱系不仅是搜索的轨迹，更是隐式的记忆机制。

贪婪父代继承（greedy parent inheritance） 指优化器在每一轮生成新候选时，总是从当前表现最好的存活候选（父代）出发进行编辑，而非从种子或随机候选重新开始。与之相对的是种子重置重采样（seed-reset resampling）：每轮都从初始种子重新生成，不保留上一轮的修订成果。两者的关键差别在于是否跨轮累积修改。贪婪继承使已修复的错误模式沉淀在父代中，后续失败列表因此缩短；种子重置则每轮面对完整的原始失败集合。研究中在匹配评估预算下比较二者，正是为了剥离“继承带来的记忆累积”与“每轮反馈广度”这两个混杂因素。

反馈披露的加速与局限

全量错误聚类和多样化失败选择确实能改善从种子开始的单步重写，并加速搜索的初期轮次。但研究显示，随着顺序父代继承的推进，这种优势迅速消失。父代继承通过保留已解决的错误模式，自然缩小了后续失败列表，从而快速弥补了反馈广度带来的初始差距。反馈披露的增益是局部的、暂时的，而继承的增益是全局的、累积的。

错误聚类（error clustering） 是将候选方案在评估中产生的失败样本按语义或模式归并成若干簇，而非逐条罗列。全量错误聚类让提议模型在一轮内看到所有失败模式，避免只盯着个别样本过拟合；定向小批量（targeted mini-batch） 则从失败池中挑选少量有代表性的样本展示，以控制上下文长度和成本。这两种手段都属于“反馈披露”策略，即决定每轮向提议模型展示多少、哪些失败信息。它们改善的是单步重写的质量，但不改变候选方案跨轮累积修改的结构，因此其收益会随父代继承的推进而被继承机制覆盖。

计算成本的重构：反思并非瓶颈

研究还分解了GEPA中的token支出，发现提议模型反思只占总成本的一小部分，而验证和小批量门控消耗了近全部预算。这表明，基于原始失败的贪婪父代继承能以极小的计算成本捕获复杂反思循环的收益。优化器的效率瓶颈不在反思的深度，而在评估的广度与继承的连续性。

GEPA（Genetic-Pareto）是本文重点分析的迭代式提示优化器，它结合遗传式候选保留与帕累托前沿选择，通过提议模型对失败样本进行反思来生成修订。其token支出可拆为三部分：提议模型的反思（阅读失败并撰写修订）、验证（在评估集上运行候选方案打分）、以及小批量门控（用一小批样本决定候选是否进入下一轮）。后两者需要反复调用被测模型执行任务，成本随候选数量和评估样本量线性增长；反思只调用一次提议模型，故占比很小。这一分解说明，优化器的算力大头花在“评判”而非“思考”上。

对优化器设计的启示

这些发现挑战了当前通过增强单轮反馈来提升优化器的趋势。如果父代继承是主要驱动力，那么设计重点应转向如何更好地维护和利用谱系记忆，而非一味扩大每轮反馈的广度。对于资源受限的场景，简单的贪婪继承配合原始失败反馈，可能比复杂的反思循环更高效。未来优化器或许需要显式建模继承过程，在谱系保留与反馈多样性之间找到新的平衡。