自进化智能体ExLabel：提升SWE数据集质量评估

引言

大型语言模型（LLM）在软件工程（SE）任务上展现出强大能力，而高质量数据集是可靠训练和评估的基础。SWE-bench 风格的基准（SWE 数据集）被广泛用于评估基于 LLM 的编程智能体解决真实软件问题的能力，其中任务清晰度和测试覆盖度直接决定了实例是否可解、可验证。然而，现有 SWE 数据集普遍存在质量问题，人工标注成本高昂，促使研究者探索基于 LLM 的自动标注方案。

SWE-bench 与 SWE 数据集：SWE-bench 是评估 LLM 解决真实 GitHub 软件问题能力的基准，每个实例包含一个代码仓库、一个问题描述（issue）、以及用于验证修复的测试用例。模型需生成一个补丁（patch），若该补丁能使原本失败的测试通过且不破坏已有测试，则视为解决成功。SWE-bench Verified 是其经过人工验证的子集，剔除了问题描述不清或测试不可靠的实例，使评估更可信。Multi-SWE-bench 则将这一范式扩展到多种编程语言，覆盖 Java、Go、Rust 等，用于检验模型跨语言的泛化能力。数据集中的“任务清晰度”指问题描述是否足以让开发者定位并修复缺陷；“测试覆盖度”指测试是否真正验证了修复，避免因测试缺失或过弱而误判模型成功。这两项质量属性直接决定基准的有效性。

现有方法的局限

当前基于 LLM 的标注方法通常依赖静态、过于通用的评分规则（rubrics），难以应对多样且微妙的场景，往往导致较高的假阳性率。相比之下，人类标注者能够凭借积累的经验做出上下文感知的判断。这种差距催生了新的思路：让 LLM 智能体像人类一样，从经验中学习并动态调整评估标准。

假阳性率：在数据集质量评估中，假阳性指评估方法将一个实际不可解或不可验证的实例错误判定为“通过”或“高质量”。例如，当测试覆盖度不足时，模型可能通过弱测试而被误判为已解决；当任务描述模糊时，模型可能因猜测正确而通过。假阳性率过高会高估模型能力并污染训练数据。静态评分规则难以捕捉同一表述在不同仓库语境下的差异，因而容易产生假阳性。降低假阳性率是 ExLabel 引入经验库、实现上下文感知判断的核心动机。

ExLabel：自进化、经验引导的评估助手

受人类标注过程的启发，研究者提出了 ExLabel——一个基于 LLM 的自进化、经验引导的助手，专门用于 SWE 数据集中的任务清晰度和测试覆盖度评估。

ExLabel 的核心是一个不断进化的经验库（experience bank）。该经验库将跨实例的知识提炼为稳定且自适应的判断标准，并在评估新实例时复用相关经验进行引导。这种机制使 ExLabel 能够摆脱静态规则的束缚，实现更精准、更灵活的评估。

经验库（experience bank）：经验库是一种将历史判断经验结构化为可复用知识的外部记忆机制。在 ExLabel 中，它并非简单存储实例，而是把跨实例的评估模式提炼为稳定且可自适应的判断标准，例如“何种测试缺失模式属于覆盖度不足”或“何种问题描述措辞导致可解性模糊”。评估新实例时，系统检索并复用相关经验，动态调整评分依据，而非套用固定规则。这种机制使智能体能够从既往标注中持续学习，逐步逼近人类标注者基于经验做出上下文感知判断的过程，同时避免静态规则在新场景下的高假阳性问题。

SWE-TQ 基准的构建

为了系统评估 ExLabel 的性能，研究团队构建了 SWE-TQ——一个涵盖八种编程语言的新基准。该基准通过对 SWE-bench 和 Multi-SWE-bench 中的人工标注进行清洗而得到，为评估任务清晰度和测试覆盖度提供了更可靠的 ground truth。

实验结果

在三种骨干 LLM 上的实验表明，ExLabel 在所有设置下均取得了最佳 F1 分数。在 Python 和多语言子集上，任务清晰度评估的 F1 相对最佳基线分别提升了 44.2% 和 49.9%；测试覆盖度评估的 F1 则分别提升了 24.0% 和 18.4%。

更关键的是，下游效果验证了 ExLabel 的实际价值：使用 ExLabel 过滤后的 SWE-rebench 数据微调编程模型，该模型在 SWE-bench Verified 上解决了 66.2% 的问题，比使用最佳基线过滤数据训练的模型高出 14.5%。

F1 分数：F1 是精确率（precision）与召回率（recall）的调和平均数，用于综合衡量二分类评估的准确性。在任务清晰度和测试覆盖度评估中，精确率表示被判定为“清晰”或“覆盖充分”的实例中真正合格的比例，召回率表示所有真正合格实例中被正确找出的比例。F1 越高，说明方法在减少误判和漏判之间取得了更好的平衡。ExLabel 在三种骨干 LLM 上均取得最佳 F1，表明其判断策略在不同模型基座上具有一致优势，而相对提升幅度则反映了经验引导机制相对于静态规则基线的增益。

分析与展望

ExLabel 的成功验证了“经验引导+自进化”范式在数据质量评估中的潜力。相较于静态规则，动态积累和复用经验更贴近人类标注者的决策过程，能够有效降低假阳性率。SWE-TQ 基准的构建也为后续研究提供了可复用的评估工具。未来，这种自进化智能体思路有望扩展到更多需要 nuanced 判断的数据标注场景。

结论

ExLabel 通过自进化经验库显著提升了 SWE 数据集任务清晰度和测试覆盖度评估的准确性，并直接惠及下游模型训练。这项工作凸显了高质量数据过滤在编程智能体发展中的关键作用，也为 LLM 辅助数据标注提供了新方向。