待验证50% 置信基准精确时间
该研究发现GPT-4在判断素数任务上的准确率从2023年3月的97.6%骤降至6月的2.4%
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证在GPT-4发布初期，主流模型在GPQA上的准确率约为35-40%，人类领域专家基准线约为65%，随机猜测为25%79% 相似待验证GPTQ（2022年）和AWQ（2023年）能将70B参数的LLM量化到INT4精度，困惑度损失不到1%70% 相似待验证早期GPT-4在SWE-bench的通过率仅为1.7%，Claude 3 Opus约为4.8%，直到2024年中才突破20%70% 相似待验证在 SWE-bench 测试中，早期 GPT-4 解决率不足 2%，而 Claude 3.5 Sonnet 突破 49%69% 相似待验证在Agents' Last Exam评测中，GPT-5.6 Sol取得53.6分，比采用自适应推理的Claude Fable 5高出13.1分69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/830050API
curl https://kongchang.com/api/v1/knowledge/claims/830050MCP
get_claim(id=830050)