忠实度
在自然语言生成评估中衡量回答是否严格来源于给定上下文而非引入外部信息的指标，与真实性有微妙区别，是RAG场景下更可度量、更可控的评估标准
时间轴 (近 90 天)
忠实度（faithfulness）有时也称接地性（groundedness），衡量生成答案中的每个主张是否都能在检索到的上下文中找到依据，关注模型是否编造了上下文之外的内容。
一个答案可以完全忠实于错误的源文档（忠实但错误），因此忠实度必须与上下文相关性和答案相关性配对使用，而不能作为单一的头部KPI。
忠实度对应自然语言生成评估中的事实一致性（Faithfulness / Factual Consistency）概念，与真实性（Truthfulness）有微妙区别：真实性指回答是否符合客观世界事实，忠实度只要求回答不超出给定上下文；因此忠实度是更可度量、更可控的指标，而真实性还依赖检索源本身的可靠性。
评估RAG系统需要分开衡量两个环节：上下文相关性检验检索步骤（检索到的文档是否真正包含答案），忠实度检验生成步骤（生成的回答是否严格来源于检索到的上下文而非引入外部信息）。
忠实度检查是逐条声明（claim by claim）进行的，这种逐条比对方式比整体打分更精确，因为一个回答可能90%内容有据可查但混入10%编造信息，而那10%的幻觉足以误导用户做出错误决策。
评估检索质量常用Recall@k和MRR，评估生成则通常看答案与来源的一致性、忠实度（faithfulness）。
删除测试通过遮蔽解释标注区域观察模型置信度下降程度来评估解释忠实度
研究发现基于删除的解释忠实度与解释生成时的检测强度高度耦合
全部知识事实 (8)
忠实度（faithfulness）有时也称接地性（groundedness），衡量生成答案中的每个主张是否都能在检索到的上下文中找到依据，关注模型是否编造了上下文之外的内容。
50%待验证一个答案可以完全忠实于错误的源文档（忠实但错误），因此忠实度必须与上下文相关性和答案相关性配对使用，而不能作为单一的头部KPI。
50%待验证忠实度对应自然语言生成评估中的事实一致性（Faithfulness / Factual Consistency）概念，与真实性（Truthfulness）有微妙区别：真实性指回答是否符合客观世界事实，忠实度只要求回答不超出给定上下文；因此忠实度是更可度量、更可控的指标，而真实性还依赖检索源本身的可靠性。
50%待验证评估RAG系统需要分开衡量两个环节：上下文相关性检验检索步骤（检索到的文档是否真正包含答案），忠实度检验生成步骤（生成的回答是否严格来源于检索到的上下文而非引入外部信息）。
50%待验证忠实度检查是逐条声明（claim by claim）进行的，这种逐条比对方式比整体打分更精确，因为一个回答可能90%内容有据可查但混入10%编造信息，而那10%的幻觉足以误导用户做出错误决策。
50%待验证评估检索质量常用Recall@k和MRR，评估生成则通常看答案与来源的一致性、忠实度（faithfulness）。
50%待验证删除测试通过遮蔽解释标注区域观察模型置信度下降程度来评估解释忠实度
50%待验证研究发现基于删除的解释忠实度与解释生成时的检测强度高度耦合
50%