代码编辑通过请求，却悄悄丢掉了prompt从未提及的行为

一个模型改对了你要求的那行代码，却顺手删掉了一个你根本没在prompt里重申的旧行为。这种失败很少出现在排行榜上，却可能是日常AI编程中最危险的失误。开发者Aditya Kumar Puri在Kaggle社区基准挑战中发布了名为Resolve的评测集，专门衡量这类"半修复"问题。

Resolve在测什么

每道题给一个Python函数、一处明确的修改要求，以及两个示例输入。模型只能返回改写后的新函数，其余输出一律丢弃。隐藏测试分成两组：fail-to-pass检验新行为是否生效，pass-to-pass检验prompt没有重复说明的旧行为是否被保留。只有两组测试全部通过，这一题才算解决——超时、崩溃、函数缺失或空测试套件都算失败，一个测试挂掉整题归零。

最终得分是16道题中完全解决的题数，取值范围0到1。resolve任务检查新行为加上未重申的旧行为；resolve-plus在此基础上追加一套prompt从未展示的边界测试。两个任务是独立采样，所以模型在resolve-plus上的分数完全可能高于resolve。

这套规则直接借用了SWE-bench判定issue是否解决的思路（Jimenez等，ICLR 2024），去掉了仓库抓取、黄金补丁等脚手架，只保留"fail-to-pass加pass-to-pass全部通过"这条硬标准。作者想抓的失败模式很具体：改动完成了被要求的事，却丢掉了prompt没有再次强调的不变量。

fail-to-pass / pass-to-pass 是软件测试领域常用的回归验证术语，在SWE-bench等代码智能体评测中被系统化使用。fail-to-pass指那些在修改前会失败、修改后应当通过的测试用例，用来确认新功能或修复确实生效；pass-to-pass指修改前就已通过、修改后仍须保持通过的测试用例，用来防止改动引入回归。二者的组合意味着一次代码改动必须同时满足“做对要求的事”和“不破坏已有的事”两个条件，任何一组出现失败都判定为未解决。

SWE-bench（Jimenez等，ICLR 2024）是一个从真实开源仓库的GitHub issue与合并PR中抽取任务的基准，模型需要根据自然语言的issue描述生成补丁，再用仓库原有的fail-to-pass和pass-to-pass测试来判定是否解决。它依赖真实的项目环境、依赖安装和测试执行，抓取与运行成本较高。Resolve借用了其判定逻辑，但把任务简化成单个Python函数加预设测试，去掉了仓库抓取、环境搭建和黄金补丁等脚手架，以便更低成本地聚焦“改动是否悄悄丢掉未重申的旧行为”这一特定失败模式。

哪些模型被测了

共有23个模型同时拿到了两个任务的分数。前沿模型包括Claude Haiku 4.5、Haiku 5.5、Sonnet 5、Sonnet 5.5、Opus 5.5，GPT-5.4 mini、GPT-5.6 Luna、GPT-5.6 Sol、GPT-6.1 Sol，以及Gemini 3.5 Flash、Flash-Lite、3.6 Flash、3.7 Flash、3.8 Flash。开源模型包括Gemma 4 31B、Gemma 4 26B、gpt-oss 20B、gpt-oss 120B、DeepSeek^广告-R1、GLM-5、Qwen 3 235B、Qwen 3 Coder 480B和Qwen 3 Next 80B Instruct。

Grok 4.5和Grok 4.6在Kaggle模型列表中，但代理返回model not found，未能进入图表。Qwen 3 Next 80B Thinking在同一代理上超时三次，最后一次只跑到16题中的第3题，同样被排除。边界情况都被如实标注，而不是悄悄补一个数字。

主要发现

榜首并列，随后是清晰的断层

GPT-6.1 Sol和GPT-5.6 Luna是唯一在两个任务上都拿到0.9375的模型——16题中对15题，且两次独立采样都做到。任务页面将其四舍五入为0.94。

紧随其后的一组模型resolve同样是0.9375，但resolve-plus掉到0.875：DeepSeek-R1、Claude Sonnet 5.5和Claude Opus 5.5。它们在第一任务解决15题，第二个任务14题。全场最低的是Qwen 3 235B和Gemma 4 26B，resolve-plus均为0.6875。

gpt-oss 20B则是个反例：0.75之后升到0.875。由于第二个任务是全新采样，更高的resolve-plus分数来自另一次生成，而不是边界测试套件帮了忙。

前沿模型中的细节差异

Opus 5.5和Sonnet 5.5都是0.9375开局、0.875收尾。GPT-5.6 Sol同样以0.9375开局，却掉到0.8125，少了两题。Sonnet 5守住0.875的resolve，resolve-plus跌至0.75。Haiku 4.5和Haiku 5.5停留在相同的0.875对0.875——在这16个函数上，更新的小模型并没有带来分数提升。Groq代理缺席的Gemini 3.6 Flash和Gemini 3.5 Flash也处在同一档，Gemini 3.5 Flash-Lite则是前沿组垫底，两项都是0.75。

开源模型

DeepSeek-R1以0.9375和0.875领跑开源组，与前沿组里Opus 5.5、Sonnet 5.5持平。Gemma 4 31B是唯一在两个任务上都守住0.875的开源模型。Qwen 3 Coder 480B（0.875对0.8125）明显优于体积更大的通用模型Qwen 3 235B（0.8125对0.6875），说明专为代码训练的模型在这类任务上有实际优势。gpt-oss 120B和Qwen 3 Next 80B Instruct则稳定在0.8125。

分数与价格的对比

这项分析没有记录token消耗或美元账单，横轴是公开的输出价格（每百万token），数据取自2026年10月8日更新的价目表。GPT-5.6 Luna是最有性价比的点：0.9375分对应每百万输出token 1.20美元，而GPT-6.1 Sol以10美元的单价拿到同样分数。Claude Haiku 5.5用0.50美元守住0.875，与5美元的Haiku 4.5、20美元的Opus 5.5同分。

这里的输出价格指模型每生成一百万输出token所收取的费用，通常高于输入价格，因为输出token的生成过程计算成本更高。价格对比中只列出输出单价，是因为代码编辑任务的成本主要由生成改写后的函数决定。需要注意的是，该分析没有记录实际消耗的token量或总账单，所以它衡量的是标价水平，而非某次具体运行的真实花费；实际成本还会受到回答长度、重试次数以及是否使用推理模式等因素影响。

一个平均分掩盖了三件事

首轮测试选了四个家族各一个模型：Claude Haiku 4.5、Gemma 4 31B、GPT-5.4 mini和Gemini 3.7 Flash，都是16题中解决14题。只看resolve，排行榜一片平坦。但看第二行，Haiku和Gemma守住0.875，GPT-5.4 mini和Gemini 3.7 Flash掉到0.8125。

这三处下滑其实是三种不同的失败。

在ring_push上，四个模型在两个任务中都完成了要求的改动，却丢失了prompt没有重申的旧行为——fail-to-pass通过，pass-to-pass没有。更宽松的评分会把这些编辑算作正确，Resolve不会。这一失误在八次运行中稳定复现。

GPT-5.4 mini在resolve-plus上的失分来自额外的边界测试套件：在truncate上，要求的改动和旧行为都通过了，是边界套件失败。Haiku和Gemma没有以这种方式丢分。

Gemini 3.7 Flash的下滑则是同一批题目的第二次采样结果——collapse_name第一次通过，第二次失败，并不是边界套件导致的。

也就是说，一个数字背后藏着三种情况：改动破坏了未声明的不变量、改动漏掉了prompt从未展示的边界、以及同一道题的第二次采样结果不同。一次生成就足以让collapse_name从通过变成失败。单次采样对于处在及格线附近的模型而言是噪声很大的快照，作者建议下一步应该对每道题采样多次。

基准与引用

Resolve在Kaggle上公开，版本1，Apache 2.0许可证。任务页面会列出所有运行记录，包括未完成的，但只有两个分数都完成的模型才会进入图表。

• resolve任务：https://www.kaggle.com/benchmarks/tasks/puriadityakumar/resolve/1
• resolve-plus任务：https://www.kaggle.com/benchmarks/tasks/puriadityakumar/resolve-plus/1

推荐引用：Aditya Kumar Puri. Resolve. https://www.kaggle.com/benchmarks/puriadityakumar/resolve/versions/1, 2026.

对于日常使用AI编程助手的开发者来说，这份基准提供了一个重要提醒：通过你写下的测试，不等于没有破坏你没写下的行为。在做代码编辑类任务时，除了验证新功能，还需要主动检查那些prompt中没有提到、但代码原本承载的既有行为是否仍然成立。