解释忠实性评估标准为何分歧？新框架提供导航路径

在可解释AI领域，忠实性（faithfulness）被视为解释质量的核心要求：解释必须准确反映模型的真实行为。然而，一个长期困扰开发者和审计者的现实问题是——不同的忠实性评估标准可能对同一个解释给出相互矛盾的判断。一篇题为《Navigating Disagreement Among Criteria for Evaluating Explanation Faithfulness》的论文直面这一困境，试图为实践者提供一条可操作的路径。

忠实性评估的分歧从何而来

论文首先追问：现有的忠实性操作化定义究竟在哪些层面存在差异？作者提出一个“忠实性函数”（faithfulness functional）框架，将分歧定位在三个关键维度上：解释对模型做出了什么主张、哪些比较与这一主张相关、以及这些比较之间的一致性应如何聚合。

换句话说，当两个评估指标对同一解释给出不同结论时，分歧并非简单的“谁对谁错”，而是源于它们在上述三个环节上做出了不同的选择。这一分析框架的价值在于，它把看似混乱的指标冲突转化为可比较、可追溯的设计决策差异。

忠实性函数（faithfulness functional） 是本文提出的分析工具，其思想来源于数学中“函数”的概念：给定输入（解释、模型、比较集合等），输出一个忠实性评分或判断。作者将现有评估指标拆解为三个可配置的组件——主张（claim）、比较（comparison）和聚合（aggregation），每个组件都有多种可能的选择。例如，解释可能主张“特征A对预测最重要”，也可能主张“特征A与预测正相关”；比较可能基于删除特征后的预测变化，也可能基于扰动后的排名变化；聚合可能取平均、最小值或加权和。不同指标之所以产生分歧，正是因为它们在每个组件上选择了不同的选项。这一框架的价值在于将指标间的冲突“参数化”，使实践者能够像调试代码一样，定位分歧发生在哪个设计决策上，从而进行有针对性的讨论与权衡。

忠实性是一种共同但未完全指定的关系

基于对现有评估标准的重构，作者提出一个颇具启发性的观点：忠实性应被理解为模型与解释之间的一种共同关系，但这种关系并未被完全指定。不同操作化定义之间的差异，反映的正是通用要求所留下的选择空间。

这一视角的意义在于，它解释了为什么文献中会出现多种操作化定义——这不是学科的混乱，而是概念本身允许的多样性。相应地，为某个操作化定义辩护，就转化为为这些具体选择辩护，而这类辩护需要借助解释性、制度性和规范性层面的考量，而非单纯的技术论证。

操作化定义（operationalization） 指将抽象概念转化为可测量、可执行的具体程序的过程。在本文语境下，忠实性是一个抽象要求（解释应反映模型真实行为），而操作化定义则规定了如何具体测量这种反映程度，例如通过删除重要特征后观察预测变化、通过比较解释排名与梯度排名的一致性等。不同的操作化定义可能都满足“忠实性”的抽象要求，但由于它们选择了不同的测量方式和比较对象，对同一解释可能给出不同评分。作者强调，这种多样性并非缺陷，而是概念本身“未完全指定”的必然结果。因此，实践者需要明确自己所采用的操作化定义，并为其选择提供理由，而非假设存在一个唯一正确的测量方式。

负面行动通知案例：制度语境如何收窄选择

论文以一个“负面行动通知”（adverse action notices）案例研究来支撑上述论点。在信贷等场景中，机构需要向用户提供拒绝授信的具体理由，这本质上是一种解释行为，其忠实性评估隐含在一套行业提出的流程之中。

作者重构了该流程所隐含的评估逻辑，并识别出其中哪些选择能够被具体制度语境所证成，哪些仍然悬而未决。这一案例表明，具体场景能够有效收窄操作化定义的选择范围——制度要求、监管框架和利益相关方的预期，都会为忠实性评估提供额外的约束条件。

负面行动通知（adverse action notices） 是信贷、保险等受监管行业中的一项制度要求：当机构基于自动化决策拒绝用户的申请（如拒绝贷款、提高保费）时，必须向用户提供具体的拒绝理由。在美国，这一要求源自《平等信贷机会法》（ECOA）及其实施条例B，要求理由必须具体且可操作，而非笼统的“信用评分不足”。在可解释AI的视角下，负面行动通知本质上是一种面向利益相关方的解释，其忠实性评估隐含在机构生成理由的流程中。本文通过重构该流程，识别出哪些设计选择（如理由的粒度、是否包含反事实信息）能够被制度语境证成，哪些仍存在争议。这一案例生动展示了制度约束如何为忠实性评估提供额外判据，从而收窄操作化定义的选择空间。

对审计者与实践者的实际意义

这项工作的实践价值在于，它为审计者和从业者提供了一种导航相互冲突评估的方法。面对两个指标给出不同结论的情况，实践者不再需要简单二选一，而是可以追溯分歧来源，判断哪些选择在当前语境下是合理的。

论文同时指出，文献应当预期多种操作化定义并存，而非追求单一“正确”指标。更广泛地看，这一分析展示了：即便现有指标之间存在分歧，共享的忠实性要求仍然能够支撑经过语境证成的评估实践。

对于构建可解释AI系统的团队而言，这意味着评估忠实性时应当明确记录所做出的选择，并结合部署场景的制度与规范约束来论证这些选择的合理性——这或许比寻找一个所谓“通用最优”指标更为务实。