context recall
RAGAS评估框架中的指标,衡量参考答案中的信息有多少被检索到的上下文所覆盖。
时间轴 (近 90 天)
在RAG评估中,faithfulness指标约85%的run-to-run方差来自生成的答案,answer relevancy的方差几乎全部来自答案;而context recall和context precision的方差100%来自法官,因为RAGAS计算这两个指标时不读取生成的答案,只比较检索到的chunks与问题、参考答案。
Faithfulness指标中,法官对同一段答案拆出的claim数量会变化(例如一条答案三次分别被拆成5、10、11条),导致分母变动从而分数波动;Precision和recall由yes/no判断构成,148条chunk判断中有5条在三次之间翻转,22条reference-statement判断中有3条翻转;由于18条参考答案中14条只有一句话,recall在那些题上非0即1。
作者给出了比较两次单次运行的参考门槛:faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10(18题规模,9题子集上约宽40%),均值差超过门槛才值得认真对待。
换法官模型让recall移动0.31、faithfulness移动0.26,分别是各自门槛的三倍和接近两倍,说明法官模型的影响大于k参数。
对recall和precision,重跑法官评判保存的结果即可,还省掉生成调用;对faithfulness和relevancy,必须重新生成答案,因为只重判只能捕捉faithfulness约15%的方差,会让它看起来比实际稳定一倍以上。
作者已开源完整实验代码与原始法官输出,并计划将13条单句参考答案改写为多条claims后重判,验证能否降低recall上的法官噪声。
全部知识事实 (6)
在RAG评估中,faithfulness指标约85%的run-to-run方差来自生成的答案,answer relevancy的方差几乎全部来自答案;而context recall和context precision的方差100%来自法官,因为RAGAS计算这两个指标时不读取生成的答案,只比较检索到的chunks与问题、参考答案。
50%待验证Faithfulness指标中,法官对同一段答案拆出的claim数量会变化(例如一条答案三次分别被拆成5、10、11条),导致分母变动从而分数波动;Precision和recall由yes/no判断构成,148条chunk判断中有5条在三次之间翻转,22条reference-statement判断中有3条翻转;由于18条参考答案中14条只有一句话,recall在那些题上非0即1。
50%待验证作者给出了比较两次单次运行的参考门槛:faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10(18题规模,9题子集上约宽40%),均值差超过门槛才值得认真对待。
50%待验证换法官模型让recall移动0.31、faithfulness移动0.26,分别是各自门槛的三倍和接近两倍,说明法官模型的影响大于k参数。
50%待验证对recall和precision,重跑法官评判保存的结果即可,还省掉生成调用;对faithfulness和relevancy,必须重新生成答案,因为只重判只能捕捉faithfulness约15%的方差,会让它看起来比实际稳定一倍以上。
50%待验证作者已开源完整实验代码与原始法官输出,并计划将13条单句参考答案改写为多条claims后重判,验证能否降低recall上的法官噪声。
50%