待验证50% 置信基准精确时间

大约一半的任务对所有模型来说都很简单，得分接近100%；另一半难题上三个模型分别拿到50%、45%和23%

1

来源数

50%

置信度

短期 (~14 天)

时效性

2026/10/6

首次发现

有效期至：2026/10/20

来源

SWE-Race基准测试：188个真实并发Bug考验AI编程智能体

涉及实体

SWE-Raceproduct

相关事实

待验证0.610 的 WANDR 得分不意味着模型在60%的任务上完全成功，实际部分完成率与任务复杂度分布相关69% 相似待验证合理的模型选择策略是:用Flash处理80%的简单任务,仅对剩余20%复杂场景调用旗舰模型68% 相似待验证约60-70%的企业实际生产请求属于简单任务，这类任务在7B以下参数量的小模型上即可获得与旗舰模型高度相近的输出质量，而成本差距高达20-50倍68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/980437

API

curl https://kongchang.com/api/v1/knowledge/claims/980437

MCP

get_claim(id=980437)