待验证50% 置信基准精确时间
131个任务中数值计算类只有28个，但十二个所有四个模型都失败的任务里有一半属于数值计算。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/20
首次发现
有效期至：2027/1/18
来源
涉及实体
相关事实
待验证当前数据集包含 29 个模型/配置条目下的 770 次记录尝试，但统一测试套件中只有 16 个不同任务76% 相似待验证每个模型回答 112 道题（7 类缺陷 × 2 个版本 × 4 次重复 × 2 种条件），其中一半有缺陷一半健全，机械回答'none'的模型会得到 0.50 分基线73% 相似待验证在记忆召回测试中，12B模型100题答对82题，31B模型100题答对98题，且两个模型都没有编造答案72% 相似待验证在一项预注册研究中，仅依赖LLM裁判的置信区间在21个任务与裁判组合中有18次未能覆盖全人工标注的真值。70% 相似待验证数字任务对8个模型中的6个来说是最难的，巨大数字（10¹⁵到10³⁹）得分只有0.06到0.5369% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1073467API
curl https://kongchang.com/api/v1/knowledge/claims/1073467MCP
get_claim(id=1073467)