待验证50% 置信基准精确时间

在SWE-bench等代码能力基准测试中，相同底层模型在不同harness下性能差距可达数十个百分点

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/2

首次发现

有效期至：2026/12/31

来源

学术界是为了野心：MIT博士Alex Zhang谈RLM与AI研究未来

涉及实体

SWE-benchproduct harnessconcept

相关事实

待验证同一个底层模型在不同Harness下的执行效率可以相差悬殊76% 相似待验证在SWE-bench等代码评测中，框架层的优化对最终得分的影响甚至超过了模型本身的能力差异76% 相似待验证随着输入损坏程度加深，不同模型之间的性能差距反而收窄73% 相似待验证同一个模型配上不同的 harness，在真实编码任务上的成功率可能差别巨大73% 相似待验证同一个模型在不同Prompt设计下，输出质量可以产生数量级的差距73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/966404

API

curl https://kongchang.com/api/v1/knowledge/claims/966404

MCP

get_claim(id=966404)