待验证50% 置信事件精确时间
在 tw-formosa-bench 发布后六周内,前沿模型就突破了其校准的难度窗口;公共榜单上 108 个模型中 22 个超过该基准的上限,最好达到 91.6%。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/15
首次发现
有效期至:2026/10/29
来源
涉及实体
相关事实
待验证AIME只有30个样本,跑4个种子后以80分对比基线79分并加粗宣称超越,在统计上站不住脚65% 相似待验证基准过拟合是当前大模型评估的核心问题,部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期64% 相似待验证41个完整测试套件中有20个拿到满分100%,该基准已无法区分这些领先模型64% 相似待验证tw-formosa-bench 的题目集针对一个冻结的七模型池进行筛选,使其得分被控制在及格边缘(46.9%–74.6%,中位数约 54%)。62% 相似待验证单日变化中(2026-10-12→2026-10-13),2个模型进入,41个不再出现,201个排名发生变化,真正的运动在边缘而非顶部。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038585API
curl https://kongchang.com/api/v1/knowledge/claims/1038585MCP
get_claim(id=1038585)