[控场AI]
概念

context recall

RAGAS评估框架中的指标,衡量参考答案中的信息有多少被检索到的上下文所覆盖。

时间轴 (近 90 天)

10月19日

在RAG评估中,faithfulness指标约85%的run-to-run方差来自生成的答案,answer relevancy的方差几乎全部来自答案;而context recall和context precision的方差100%来自法官,因为RAGAS计算这两个指标时不读取生成的答案,只比较检索到的chunks与问题、参考答案。

待验证50%
10月19日

Faithfulness指标中,法官对同一段答案拆出的claim数量会变化(例如一条答案三次分别被拆成5、10、11条),导致分母变动从而分数波动;Precision和recall由yes/no判断构成,148条chunk判断中有5条在三次之间翻转,22条reference-statement判断中有3条翻转;由于18条参考答案中14条只有一句话,recall在那些题上非0即1。

待验证50%
10月19日

作者给出了比较两次单次运行的参考门槛:faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10(18题规模,9题子集上约宽40%),均值差超过门槛才值得认真对待。

待验证50%
10月19日

换法官模型让recall移动0.31、faithfulness移动0.26,分别是各自门槛的三倍和接近两倍,说明法官模型的影响大于k参数。

待验证50%
10月19日

对recall和precision,重跑法官评判保存的结果即可,还省掉生成调用;对faithfulness和relevancy,必须重新生成答案,因为只重判只能捕捉faithfulness约15%的方差,会让它看起来比实际稳定一倍以上。

待验证50%
10月19日

作者已开源完整实验代码与原始法官输出,并计划将13条单句参考答案改写为多条claims后重判,验证能否降低recall上的法官噪声。

待验证50%

全部知识事实 (6)

待验证

在RAG评估中,faithfulness指标约85%的run-to-run方差来自生成的答案,answer relevancy的方差几乎全部来自答案;而context recall和context precision的方差100%来自法官,因为RAGAS计算这两个指标时不读取生成的答案,只比较检索到的chunks与问题、参考答案。

50%
待验证

Faithfulness指标中,法官对同一段答案拆出的claim数量会变化(例如一条答案三次分别被拆成5、10、11条),导致分母变动从而分数波动;Precision和recall由yes/no判断构成,148条chunk判断中有5条在三次之间翻转,22条reference-statement判断中有3条翻转;由于18条参考答案中14条只有一句话,recall在那些题上非0即1。

50%
待验证

作者给出了比较两次单次运行的参考门槛:faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10(18题规模,9题子集上约宽40%),均值差超过门槛才值得认真对待。

50%
待验证

换法官模型让recall移动0.31、faithfulness移动0.26,分别是各自门槛的三倍和接近两倍,说明法官模型的影响大于k参数。

50%
待验证

对recall和precision,重跑法官评判保存的结果即可,还省掉生成调用;对faithfulness和relevancy,必须重新生成答案,因为只重判只能捕捉faithfulness约15%的方差,会让它看起来比实际稳定一倍以上。

50%
待验证

作者已开源完整实验代码与原始法官输出,并计划将13条单句参考答案改写为多条claims后重判,验证能否降低recall上的法官噪声。

50%

来源文章