Unverified50% confidenceBenchmarkExact time
该研究发现GPT-4在判断素数任务上的准确率从2023年3月的97.6%骤降至6月的2.4%
1
Sources
50%
Confidence
Long-term
Relevance
8/31/2026
First Seen
Sources
Related Entities
Related Claims
Unverified在GPT-4发布初期，主流模型在GPQA上的准确率约为35-40%，人类领域专家基准线约为65%，随机猜测为25%79% similarUnverifiedGPTQ（2022年）和AWQ（2023年）能将70B参数的LLM量化到INT4精度，困惑度损失不到1%70% similarUnverified早期GPT-4在SWE-bench的通过率仅为1.7%，Claude 3 Opus约为4.8%，直到2024年中才突破20%70% similarUnverified在 SWE-bench 测试中，早期 GPT-4 解决率不足 2%，而 Claude 3.5 Sonnet 突破 49%69% similarUnverified在Agents' Last Exam评测中，GPT-5.6 Sol取得53.6分，比采用自适应推理的Claude Fable 5高出13.1分69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/830050API
curl https://kongchang.com/api/v1/knowledge/claims/830050MCP
get_claim(id=830050)