待验证50% 置信事实精确时间

Resolve基准每道题给一个Python函数、一处修改要求和两个示例输入，模型只能返回改写后的函数，隐藏测试分为fail-to-pass和pass-to-pass两组，只有两组全部通过才算解决，一个测试失败整题归零

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

代码编辑通过请求，却悄悄丢掉了prompt从未提及的行为

涉及实体

Resolveconcept fail-to-passconcept pass-to-passconcept

相关事实

待验证Nonobench 测试规则要求每个模型只获得一次行列线索，一次性返回完整网格，不允许调用外部工具，每道题只有一次尝试机会70% 相似待验证v2.0 的智能重试机制在向多个目标发送时只会重试失败的目标，而非全部重发64% 相似待验证建立模型级别的故障转移机制（如连续两次超时后自动切换）可以缓解单一模型不可用的问题62% 相似待验证兼容性重实现的难点不在于单个函数的复现，而在于保证在所有宿主调用路径下的行为等价，包括边界值、内存布局、错误处理乃至未定义行为的复现60% 相似待验证处理Provider故障转移存在两种方案：自定义重试逻辑和Router/Gateway方案59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1007718

API

curl https://kongchang.com/api/v1/knowledge/claims/1007718

MCP

get_claim(id=1007718)