待验证50% 置信基准精确时间
当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。78% 相似待验证Faithfulness指标中，法官对同一段答案拆出的claim数量会变化（例如一条答案三次分别被拆成5、10、11条），导致分母变动从而分数波动；Precision和recall由yes/no判断构成，148条chunk判断中有5条在三次之间翻转，22条reference-statement判断中有3条翻转；由于18条参考答案中14条只有一句话，recall在那些题上非0即1。77% 相似待验证即使将法官的temperature设为0，三次评判相同的答案和chunks，precision的18题均值波动了0.085，faithfulness波动0.042，recall波动0.046，只有relevancy相对稳定在0.003。76% 相似待验证在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1065189API
curl https://kongchang.com/api/v1/knowledge/claims/1065189MCP
get_claim(id=1065189)