待验证50% 置信事实精确时间
schemagate 作者指出其局限:仅测试了一个模型,提示词措辞是在 100 道 BIRD 问题上选定的;去掉这两个因素后分数基本不变(90.08)。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至:2027/1/15
来源
涉及实体
相关事实
待验证按题目难度排序,所有模型都答对的60道题坚持率91.4%,至少一个模型答错的52道题坚持率仅73.5%,表明谄媚追踪不确定性66% 相似待验证三个独立Subagent对复盘日记做对抗式重验,核对120个可验证声称(含26个Commit Hash和40多处引用行号),结果零处编造、九处修正(均为行号飘移和口径换算问题)65% 相似待验证本次测试存在局限性:仅14个组、一个20亿参数的模型、一次运行;三个有效改写因改变法律含义在运行前被修正,修正与测试集在同一提交中;尚未在更大模型上运行该测试集。65% 相似待验证在记忆召回测试中,12B模型100题答对82题,31B模型100题答对98题,且两个模型都没有编造答案65% 相似待验证在少样本(如每类约20个样本)情况下,应放弃多分类细分,将所有缺陷折叠成二分类问题(有缺陷/无缺陷),把具体分类交给人工事后处理64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1051149API
curl https://kongchang.com/api/v1/knowledge/claims/1051149MCP
get_claim(id=1051149)