待验证50% 置信观点精确时间
AIME只有30个样本,跑4个种子后以80分对比基线79分并加粗宣称超越,在统计上站不住脚
1
来源数
50%
置信度
长期有效
时效性
2026/8/30
首次发现
来源
涉及实体
相关事实
待验证即使单步准确率高达99%,在300步生成后完全一致的概率也仅为(0.99)^300≈4.9%64% 相似待验证Claude Opus 4.8的编程任务中悄悄放过隐蔽bug的概率仅为上一代的四分之一,假报率从0.40降至0,偷懒糊弄率从25%降至0%64% 相似待验证在Terminal Bench 2.1基准测试上,Ultra模式接近92%,超越竞品的88%表现63% 相似待验证报告测出DiffusionGemma平均每步生成token数达到19.74个,而自回归方法每步只能生成1个63% 相似待验证题量并非越多越好:低于60题的测评难以覆盖多维度、信度不足;但超过300题会因答题疲劳导致后半段数据质量下降。个人自测选100-150题、20分钟内完成的版本较为均衡63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/823652API
curl https://kongchang.com/api/v1/knowledge/claims/823652MCP
get_claim(id=823652)