从评估到进化：WeGenEditBench重构图像编辑评测范式

评测困局：聚合分数掩盖的局部失败

图像编辑模型的评测长期依赖聚合分数，但现实场景中的编辑请求往往要求协调多种视觉变换，同时保持内容一致性和参考约束的满足。据该研究指出，聚合分数很容易掩盖未达成的局部要求——一个整体得分尚可的模型，可能在特定原子条件上反复失败而不被察觉。

这种评估盲区的代价是双向的：研究者无法精确定位模型短板，开发者难以将评测结果转化为改进优先级。论文提出的核心主张是，有效评估必须能够识别局部失败，并将其翻译为后续模型优化的行动指南。这构成了从"打分"到"诊断"的范式转变。

WeGenEditBench：原子级清单驱动的精细评测

研究团队构建了 WeGenEditBench，包含 2,740 个评估实例和 148 种任务类型，覆盖单图编辑、文本密集型编辑和多参考图编辑三大场景。其方法设计有几个值得关注的点。

预生成清单分解请求

与逐样本人工打分不同，WeGenEditBench 采用跨模型共享的预生成清单，将每个编辑请求拆解为原子级要求。这一设计确保不同模型在同一套标准下被审视，减少了评估标准漂移带来的噪声。

先扣分后汇总

评测流程先建立条目级扣分和视觉证据，再汇总为编辑执行、内容保持、视觉质量和任务特定正确性四个维度的分数。这种"先证据后分数"的顺序，使每一项得分都能追溯到具体的视觉依据，而非黑箱输出。

原子级要求（atomic requirement） 是本文评估方法的基本单位，指一个可独立判定是否满足的最小编辑约束，例如"保留原图中人物的眼镜""将背景替换为雪景且不改变主体姿态""新增文字必须完整拼写为指定字符串"。把复合编辑请求拆解为原子要求的意义在于：复合请求的成败往往是部分成功的，只有逐条判定才能区分"完全失败""大部分达成但某一条件缺失"等不同情形。原子化的代价是标注与判定成本上升，且原子要求之间的独立性需要人为保证——若两条要求语义重叠，扣分会被重复计算。在 WeGenEditBench 中，原子清单由预生成方式跨模型共享，因而原子粒度的设定本身会影响不同模型间的可比性。

WeGenEvoStudio：把失败诊断接入自我进化闭环

评测的价值最终要落到模型改进上。为此研究团队开发了 WeGenEvoStudio，一个面向递归自我改进（RSI）的统一多智能体框架，将四类能力整合进同一套学习回路：

• 以模型为条件的失败诊断，定位具体哪些原子要求未被满足；
• 检索增强的数据构建，针对失败点生成训练素材；
• 监督式适配，将新数据转化为模型能力；
• 重新评估，验证改进是否真实发生。

这条"诊断—构建—适配—复评"的链路，本质上把评测从终点变成了进化的起点。

递归自我改进（RSI, Recursive Self-Improvement） 指模型或系统在无外部人工持续干预的情况下，利用自身产生的评估信号改进自身能力的循环机制。其核心要素是：一个可量化的反馈通道（此处即原子级失败诊断）、据此生成新训练数据的机制（检索增强数据构建）、把数据转化为能力的适配过程，以及验证改进是否真实的复评环节。与传统的"人工标注—训练—上线"线性流程相比，RSI 强调每一轮改进都由上一轮暴露的具体缺陷驱动，从而避免规模扩张的盲目性。需要注意的是，RSI 中的"递归"并非指模型修改自身架构，而是指改进流程对评估结果的反复消费；其增益上限受制于诊断信号的精度——若诊断只能给出粗粒度分数，循环就会退化为对聚合指标的过拟合。

横评结果与进化实验数据

在 15 个被评估配置中，GPT-Image-2 以 4.076 的 Overall 分数领跑单图编辑，Seedream-5.0-Pro 则以 4.291 在文本密集型编辑中居首。这些数字本身说明头部模型已具备相当水准，但真正的看点在于进化实验。

跨四个生成与编辑基准的进化实验显示出可观的针对性增益：在报告选定的 Top-5 单图目标上，FLUX.2 [dev] 的 Overall 从 1.083 提升到 3.517；Qwen-Image-Edit-2511 则取得 13.2% 的提升。需要说明的是，这类增益来自针对诊断出的失败点所做的定向优化，其幅度反映的是"补齐短板"的空间，而非通用能力的普涨。

Overall 分数 在此类多维度评测中通常是编辑执行、内容保持、视觉质量与任务特定正确性四个维度得分的汇总值，因而其绝对数值依赖具体的汇总方式（等权平均、加权或经归一化处理），跨论文之间不宜直接比较。阅读时应把 Overall 视为同一评测体系内部的相对排序依据，而非绝对质量刻度。这也是本文强调"局部失败"的原因：FLUX.2 [dev] 从 1.083 跃升至 3.517 这类大幅变化，反映的是模型在特定原子要求上从系统性不满足转为满足，属于短板补齐型增益；而头部模型之间 4.076 与 4.291 的差距，则更多体现为不同任务类型上的结构性偏好差异，需结合具体任务类型解读，不能简单理解为通用能力的整体领先。

评测即基础设施：这套范式意味着什么

把这项工作放到更大的图景里看，它回应的是图像编辑模型发展中一个结构性难题：能力越综合，单一分数越失效。当模型需要同时处理多图参考、文本渲染和内容保持时，任何压缩为单一数字的评估都会丢失关键信息。

WeGenEditBench 与 WeGenEvoStudio 的组合提供了一种可解释的评估路径——每个分数背后有原子要求和视觉证据支撑，每个失败点都有对应的数据构建与适配机制。研究团队将其定位为"通过可解释评估与反馈驱动学习来开发更可靠图像模型"的基础设施。

对从业者而言，这意味着两件事。其一，模型选型不应只看榜单总分，而应关注自身业务场景对应的任务类型和原子要求上的表现。其二，评测结果可以直接作为数据生产的输入，形成从发现问题到解决问题的闭环，而不必依赖漫无目的的规模扩张。

当然，这套框架的覆盖范围仍是 148 种任务类型所界定的边界，清单的预生成方式也可能引入设计者的先验偏好。但就"让评估指向改进"这一目标而言，它给出了一个可操作、可复现的样本。