待验证50% 置信基准精确时间
测试前语义阈值固定为 0.81,该值在 Banking77 训练集上校准,保证语义命中至少 98% 指向同一意图;但在实际测试集上语义命中的意图一致率为 96.7% 到 96.8%,每个模型有 30 到 31 次命中错误意图。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至:2027/1/17
来源
涉及实体
相关事实
待验证在 119 对“近似问题”测试中,0.81 阈值下 62% 的改动问题会错误命中;即使提高到 0.90,仍有 25% 会命中;真正的同义改写命中率从 39% 降到 4%。74% 相似待验证在基准测试中,启发式峰值规则达到 93.3% 总体准确率、100.0% 冲击召回率、38.4% 步频误报,需要手动阈值调整。73% 相似待验证按题目难度排序,所有模型都答对的60道题坚持率91.4%,至少一个模型答错的52道题坚持率仅73.5%,表明谄媚追踪不确定性73% 相似待验证一条「可信来源」提示能让8个测试模型中的7个翻转45%到88%的正确答案71% 相似待验证本次测试存在局限性:仅14个组、一个20亿参数的模型、一次运行;三个有效改写因改变法律含义在运行前被修正,修正与测试集在同一提交中;尚未在更大模型上运行该测试集。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1065405API
curl https://kongchang.com/api/v1/knowledge/claims/1065405MCP
get_claim(id=1065405)