answer relevancy
RAGAS评估框架中的指标，评估生成答案与问题的相关程度，通过LLM反推问题并计算embedding相似度实现。
时间轴 (近 90 天)
在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。
当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。
对recall和precision，重跑法官评判保存的结果即可，还省掉生成调用；对faithfulness和relevancy，必须重新生成答案，因为只重判只能捕捉faithfulness约15%的方差，会让它看起来比实际稳定一倍以上。
一道问论文涉及哪些认知偏差的题，一次生成诚实地说论文没有点名具体偏差，relevancy给了0；另一次生成自信地列出一个语料库中不存在的偏差，relevancy反而拿了0.58，只有faithfulness抓住了编造（0.17）。
全部知识事实 (5)
在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。
50%待验证当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
50%待验证作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。
50%待验证对recall和precision，重跑法官评判保存的结果即可，还省掉生成调用；对faithfulness和relevancy，必须重新生成答案，因为只重判只能捕捉faithfulness约15%的方差，会让它看起来比实际稳定一倍以上。
50%待验证一道问论文涉及哪些认知偏差的题，一次生成诚实地说论文没有点名具体偏差，relevancy给了0；另一次生成自信地列出一个语料库中不存在的偏差，relevancy反而拿了0.58，只有faithfulness抓住了编造（0.17）。
50%