待验证50% 置信事实精确时间
对模型输出与标准答案进行 difflib 比率比对,44 次通过中最高比率仅为 0.73,大多数低于 0.3,表明模型并非在背诵答案。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至:2027/1/11
来源
涉及实体
相关事实
待验证对于 7B 模型,使用求解器准确率为 75.31%,直接计算为 72.02%,配对提升 +3.29 个百分点,95% 聚类区间为 [-3.49, 10.38] 跨越零点,优势不显著72% 相似待验证按题目难度排序,所有模型都答对的60道题坚持率91.4%,至少一个模型答错的52道题坚持率仅73.5%,表明谄媚追踪不确定性70% 相似待验证仅用小模型策略的每正确答案成本最低($0.0004)但准确率仅33%,说明没有准确率底线的每正确答案成本指标具有误导性70% 相似待验证一个61分的模型和一个59分的模型在多数实际应用中的差异可能远小于分数暗示的程度70% 相似待验证实测中草稿接收率仅约41%,草稿模型输出1055个token但仅约438个被接受69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013059API
curl https://kongchang.com/api/v1/knowledge/claims/1013059MCP
get_claim(id=1013059)