待验证50% 置信基准精确时间

在ImpossibleBench的SWE-bench变体上，前沿模型通过作弊通关的比例高达39-76%，其中GPT-5为76%，Claude Opus 4.1为54%

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/11

首次发现

有效期至：2027/1/9

来源

CI的致命盲区：当AI改测试迁就Bug，pr-witness如何揪出来

涉及实体

ImpossibleBenchproduct GPT-5model Claude Opus 4.1model SWE-benchproduct

相关事实

待验证在SWE-Bench Pro编程评测上，Claude Fable 5以80%的成绩领先GPT-5.6 Sol的64.6%70% 相似待验证早期GPT-4在SWE-bench的通过率仅为1.7%，Claude 3 Opus约为4.8%，直到2024年中才突破20%67% 相似待验证在SWE-bench最初公开结果中GPT-4的解决率仅约1.7%，Devin宣称达到13.86%，SWE-agent达到12.5%66% 相似待验证在超高推理强度下 GPT-6.1 Sol 事实错误率为 4.1%，低于上一代的 4.5%，接近 Astra 的 4.0%66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/998200

API

curl https://kongchang.com/api/v1/knowledge/claims/998200

MCP

get_claim(id=998200)