Resolve
一个用于评估代码编辑任务的基准，衡量模型在完成明确修改要求的同时是否保留prompt未重申的既有行为，包含resolve和resolve-plus两个任务
时间轴 (近 90 天)
开发者Aditya Kumar Puri在Kaggle社区基准挑战中发布了名为Resolve的评测集，专门衡量代码编辑中'半修复'问题（完成要求改动但丢失未重申的旧行为）
Resolve基准每道题给一个Python函数、一处修改要求和两个示例输入，模型只能返回改写后的函数，隐藏测试分为fail-to-pass和pass-to-pass两组，只有两组全部通过才算解决，一个测试失败整题归零
Resolve的判定逻辑借用自SWE-bench（Jimenez等，ICLR 2024），去掉了仓库抓取、黄金补丁等脚手架，只保留'fail-to-pass加pass-to-pass全部通过'这条标准
Resolve有16道题，最终得分是16道题中完全解决的题数，取值范围0到1
共有23个模型同时拿到了resolve和resolve-plus两个任务的分数
GPT-6.1 Sol和GPT-5.6 Luna是唯一在两个任务上都拿到0.9375的模型，即16题中对15题，且两次独立采样都做到
单次采样对于处在及格线附近的模型而言是噪声很大的快照，作者建议下一步应对每道题采样多次
Resolve基准在Kaggle上公开，版本1，采用Apache 2.0许可证
全部知识事实 (8)
开发者Aditya Kumar Puri在Kaggle社区基准挑战中发布了名为Resolve的评测集，专门衡量代码编辑中'半修复'问题（完成要求改动但丢失未重申的旧行为）
50%待验证Resolve基准每道题给一个Python函数、一处修改要求和两个示例输入，模型只能返回改写后的函数，隐藏测试分为fail-to-pass和pass-to-pass两组，只有两组全部通过才算解决，一个测试失败整题归零
50%待验证Resolve的判定逻辑借用自SWE-bench（Jimenez等，ICLR 2024），去掉了仓库抓取、黄金补丁等脚手架，只保留'fail-to-pass加pass-to-pass全部通过'这条标准
50%待验证Resolve有16道题，最终得分是16道题中完全解决的题数，取值范围0到1
50%待验证共有23个模型同时拿到了resolve和resolve-plus两个任务的分数
50%待验证GPT-6.1 Sol和GPT-5.6 Luna是唯一在两个任务上都拿到0.9375的模型，即16题中对15题，且两次独立采样都做到
50%待验证单次采样对于处在及格线附近的模型而言是噪声很大的快照，作者建议下一步应对每道题采样多次
50%待验证Resolve基准在Kaggle上公开，版本1，采用Apache 2.0许可证
50%