ExLabel
基于LLM的自进化、经验引导的评估助手，用于评估SWE数据集的任务清晰度和测试覆盖度，核心机制为经验库（experience bank）
时间轴 (近 90 天)
ExLabel 是一个基于 LLM 的自进化、经验引导的助手，专门用于 SWE 数据集中的任务清晰度和测试覆盖度评估。
ExLabel 的核心是一个经验库（experience bank），它将跨实例的知识提炼为稳定且自适应的判断标准，并在评估新实例时复用相关经验进行引导。
在三种骨干 LLM 上的实验表明，ExLabel 在所有设置下均取得了最佳 F1 分数。
在 Python 和多语言子集上，ExLabel 任务清晰度评估的 F1 相对最佳基线分别提升了 44.2% 和 49.9%。
使用 ExLabel 过滤后的 SWE-rebench 数据微调编程模型，该模型在 SWE-bench Verified 上解决了 66.2% 的问题，比使用最佳基线过滤数据训练的模型高出 14.5%。
全部知识事实 (5)
ExLabel 是一个基于 LLM 的自进化、经验引导的助手，专门用于 SWE 数据集中的任务清晰度和测试覆盖度评估。
50%待验证ExLabel 的核心是一个经验库（experience bank），它将跨实例的知识提炼为稳定且自适应的判断标准，并在评估新实例时复用相关经验进行引导。
50%待验证在三种骨干 LLM 上的实验表明，ExLabel 在所有设置下均取得了最佳 F1 分数。
50%待验证在 Python 和多语言子集上，ExLabel 任务清晰度评估的 F1 相对最佳基线分别提升了 44.2% 和 49.9%。
50%待验证使用 ExLabel 过滤后的 SWE-rebench 数据微调编程模型，该模型在 SWE-bench Verified 上解决了 66.2% 的问题，比使用最佳基线过滤数据训练的模型高出 14.5%。
50%