待验证50% 置信事实精确时间

DataBugBench 测试覆盖了五款模型：Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Pro、Qwen 2.5 Coder 32B、Llama 3.3 70B

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/12

首次发现

有效期至：2027/1/10

来源

DataBugBench：主流大模型能否揪出Python数据科学的隐形Bug？

涉及实体

Claude 3.5 Sonnetmodel GPT-4omodel Gemini 1.5 Promodel Qwen 2.5 Coder 32Bmodel Llama 3.3 70Bmodel

相关事实

待验证基准测试涵盖来自6个实验室的9款模型，包括Qwen3 235B、Claude Haiku 4.5、Claude Opus 5.5、Gemini系列、GPT-5.4系列、GLM-5和Grok 4.20，其中4款是推理模型77% 相似待验证在易核查档，有七个模型在所有六类诱饵下都拿到了40/40满分，Claude Sonnet 5.5、Gemini 3.7 Flash 和 GPT-6.1 Sol 在易难两档全部六个任务下一题没错71% 相似待验证数据集涵盖四个开源权重模型Qwen2.5-7B、Mistral-7B-v0.3、Phi-3.5-mini和Qwen2.5-1.5B，各30条轨迹70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1003531

API

curl https://kongchang.com/api/v1/knowledge/claims/1003531

MCP

get_claim(id=1003531)