context precision
RAGAS评估框架中的指标，检查检索到的chunks中有多少真正相关以及相关chunk的排序位置。
时间轴 (近 90 天)
在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。
当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
Faithfulness指标中，法官对同一段答案拆出的claim数量会变化（例如一条答案三次分别被拆成5、10、11条），导致分母变动从而分数波动；Precision和recall由yes/no判断构成，148条chunk判断中有5条在三次之间翻转，22条reference-statement判断中有3条翻转；由于18条参考答案中14条只有一句话，recall在那些题上非0即1。
作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。
对recall和precision，重跑法官评判保存的结果即可，还省掉生成调用；对faithfulness和relevancy，必须重新生成答案，因为只重判只能捕捉faithfulness约15%的方差，会让它看起来比实际稳定一倍以上。
约1200次法官调用中有两次因JSON转义格式错误失败；某天法官响应变慢十倍，context precision在16/18题上超时，因为RAGAS的超时限制覆盖单题单指标的全部调用，而precision在k=8时每题要发起8次法官调用。
全部知识事实 (6)
在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。
50%待验证当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
50%待验证Faithfulness指标中，法官对同一段答案拆出的claim数量会变化（例如一条答案三次分别被拆成5、10、11条），导致分母变动从而分数波动；Precision和recall由yes/no判断构成，148条chunk判断中有5条在三次之间翻转，22条reference-statement判断中有3条翻转；由于18条参考答案中14条只有一句话，recall在那些题上非0即1。
50%待验证作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。
50%待验证对recall和precision，重跑法官评判保存的结果即可，还省掉生成调用；对faithfulness和relevancy，必须重新生成答案，因为只重判只能捕捉faithfulness约15%的方差，会让它看起来比实际稳定一倍以上。
50%待验证约1200次法官调用中有两次因JSON转义格式错误失败；某天法官响应变慢十倍，context precision在16/18题上超时，因为RAGAS的超时限制覆盖单题单指标的全部调用，而precision在k=8时每题要发起8次法官调用。
50%