待验证50% 置信观点精确时间

业界对AI编码基准测试的信任度处于历史低点，排行榜冠军频繁更替，基准分数与实际工作表现相关性低

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

5 Models Coding Showdown: Claude, GPT, DeepSeek, M3 — Who's the Best Engineering Tool?

bilibili不正经的前端啊2026/6/8

相关事实

待验证指标数量与数据可信度存在错觉权衡：标称20+项指标的低价秤不比8项的可靠，重点看电极数和App算法品牌而非指标条数70% 相似待验证当前顶尖AI模型在CTF基准上的得分仍远低于人类专家水平，尤其是涉及动态调试和二进制分析的题目类别69% 相似待验证当前顶级AI模型在SWE-bench上的解决率仍远低于竞赛成绩所暗示的水平69% 相似待验证在事实性评估任务上模型评判者准确率仍显著低于人类专家，但在风格、连贯性等主观维度已接近人类评审员间一致性水平66% 相似待验证用户只需对AI输出进行轻微改写，检测得分便会大幅下降66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/47206

API

curl https://kongchang.com/api/v1/knowledge/claims/47206

MCP

get_claim(id=47206)