EPOCH：用覆盖感知进化与偏好优化重塑LLM启发式设计

组合优化问题（COP）一直是运筹学和计算机科学中的硬骨头。从路径规划到资源调度，启发式算法在实践中不可或缺，但手工设计高质量启发式规则既耗时又依赖专家经验。近年来，利用大语言模型自动生成和进化启发式规则（AHD）成为一条新路径。然而，现有框架存在一个根本性局限：它们要么冻结生成器，要么仅用标量适应度信号微调模型，忽略了每个启发式到底覆盖了哪些问题实例这一关键信息。

一篇新论文提出的EPOCH框架，试图从根本上改变这一局面。它将实例覆盖度直接作为进化搜索的目标，并通过经验偏好优化让生成器内化反思信号。简而言之，EPOCH不满足于“找到一个好启发式”，而是追求“找到一组互补的启发式集合”。

现有方法的盲区：适应度信号丢失了覆盖信息

基于LLM的自动启发式设计通常采用进化搜索：LLM生成候选启发式，在训练实例上评估，再基于适应度进行选择和变异，循环往复。问题在于，标量适应度只是一个聚合数字——它告诉你某个启发式平均表现如何，却掩盖了它在哪些实例上成功、哪些实例上失败。

另一类方法引入反思机制：让LLM对生成的启发式给出自然语言反馈，再据此改进。但这类反馈停留在提示词层面，从未真正进入生成器的权重。换句话说，模型“知道”某个启发式有什么问题，但下一次生成时未必能避免。

这两个盲区叠加，导致搜索容易陷入单一模式的启发式，缺乏对训练实例的整体覆盖。

直接偏好优化（DPO） 是近年替代传统RLHF对齐方法的关键技术。传统方法如PPO需要单独训练一个奖励模型，再用强化学习调整语言模型策略，流程复杂且不稳定。DPO则绕过奖励模型，直接在偏好数据对（如"改进版优于原始版"）上优化语言模型，其损失函数等价于在隐式奖励下最大化偏好概率。数学上，DPO利用策略模型与参考模型的对数概率差作为隐式奖励，使模型在保持与参考模型接近的同时，提高对更优回答的生成概率。它训练稳定、无需采样循环，但本质是让模型学会"判断哪个更好"，并不直接约束模型"自己生成那个更好的"，这也是EPOCH引入反思自蒸馏项的动机。

EPOCH的核心思路：让覆盖度驱动一切

EPOCH的关键创新在于将实例覆盖度提升为进化搜索的首要目标。具体来说，它从三个环节同时优化覆盖：

父代选择不再仅依据适应度排名，而是优先选择那些能补充现有启发式覆盖盲区的个体。算子分配根据当前种群的覆盖缺口动态调整变异和交叉策略。停滞恢复机制在搜索陷入局部最优时，主动寻找能覆盖未被触及实例的新方向。

这样做的结果是，搜索过程倾向于返回一个互补的启发式集合（ensemble），而非单一最优解。在组合优化中，不同实例往往需要不同的策略，一组互补的启发式联合覆盖训练集的效果，远好于一个“平均最好”的单一启发式。

组合优化中的启发式集合（ensemble） 与机器学习集成学习思路相近，但目标不同。在路径规划、装箱、调度等问题中，没有单一启发式能在所有实例上都最优：最近邻策略在小规模密集图上表现好，插入式启发式更适合带时间窗的约束，局部搜索算子则依赖初始解质量。集成学习通过组合多个弱学习器降低方差；启发式集合则通过策略互补覆盖不同实例分布，其评估指标不只是平均性能，还包括对问题空间的覆盖广度。EPOCH将覆盖度作为选择压力，相当于在进化过程中主动维持种群多样性，避免所有个体收敛到同一策略，这与传统进化算法中单纯按适应度排名选择有本质区别。

经验偏好优化：让反思真正进入模型权重

EPOCH的另一项核心贡献是经验偏好优化（Experiential Preference Optimization）。它让生成器从自身的搜索历史中学习，而不仅仅依赖外部的适应度信号。

具体机制分为两步。教师LLM对生成的启发式给出自然语言洞察——比如指出某个启发式在特定类型的实例上表现不佳。生成器基于这条洞察重新生成改进后的启发式。这两版启发式构成一对偏好数据：改进后的版本优于原始版本。

这些偏好对用于直接偏好优化（DPO），让生成器学会在两者之间排序。但DPO的局限在于，它只教会模型“哪个更好”，并不保证模型能自主生成那个更好的版本。为此，EPOCH引入了一个反思自蒸馏（Reflective Self-Distillation, RSD）项，显式地提高生成器自主产出改进版本的 likelihood。随着搜索的长期推进，这种能力会持续累积。

反思自蒸馏（Reflective Self-Distillation, RSD） 的思想源于知识蒸馏与自我训练的结合。标准知识蒸馏让一个学生模型模仿教师模型的输出分布；自蒸馏则让模型以自身不同版本或不同推理路径的输出为监督信号。RSD在此基础上引入反思环节：教师LLM先对当前启发式给出自然语言诊断，生成器据此生成改进版，然后以改进版作为目标分布，显式提高原始生成器在给定诊断条件下产出该版本的似然。这一项与DPO形成互补——DPO调整的是两个版本之间的相对偏好，RSD则直接拉高"正确答案"的绝对概率。两者结合，使模型不仅能判断优劣，还能逐步内化"如何改"的能力，这也是反思信号从提示词层面进入权重层面的关键机制。

实验表现与泛化能力

论文在多个组合优化问题和多种开源LLM骨干上进行了验证。EPOCH生成的启发式集合在性能上超过了仅推理（inference-only）和微调基线，并且能跨问题规模泛化。这意味着，在较小规模实例上训练出的启发式组合，换到更大规模实例上依然有效，这对实际部署至关重要。

为什么这条路线值得关注

EPOCH的价值不只在于性能数字。它提出了一个更根本的问题：当LLM用于搜索和优化时，我们到底应该优化什么？标量适应度是一种简化，它把多维度的性能信息压缩成一个数字。EPOCH选择保留覆盖度这一结构信息，并将其贯穿搜索和训练的全过程。

对于关注LLM在算法发现、自动化推理和组合优化中应用的研究者和工程师来说，EPOCH提供了一个可借鉴的范式：反思不应停留在提示词里，而应通过偏好优化和自蒸馏转化为模型的内在能力。

当然，这条路线仍有待更多独立验证。EPOCH在多个骨干模型和问题上的结果令人鼓舞，但覆盖度目标在更大规模问题上的计算开销、教师LLM洞察的质量稳定性等问题，仍需后续工作给出答案。