DocXEval：多模态文档理解可解释性系统评估

多模态Transformer模型在文档理解任务上不断刷新性能纪录，但其黑盒属性始终是高危场景落地的最大阻碍。医疗报告、金融合同、法律文书这类文档一旦被模型误读，后果远不止一次错误的API调用。可解释性研究在视觉和语言任务中已有不少积累，但针对多模态文档理解的XAI工作却长期缺位。DocXEval正是为填补这一空白而提出的首个系统性评估框架。

为什么文档理解的XAI需要单独一套框架

文档理解模型同时处理文本、版面布局和图像三种模态，这使它的可解释性问题与纯视觉或纯文本任务有本质区别。一张发票上的关键信息可能由文字内容、空间位置和印章图像共同决定，解释方法必须能拆解各模态的贡献，而不是给出一个笼统的热力图。

现有XAI方法大多为单一模态设计，直接迁移到文档场景会丢失版面信息。DocXEval的做法是把现有解释方法和评估指标适配到多模态文档语境，并针对语义实体识别等任务引入高效的多目标适配版本。

多模态文档理解任务通常包括语义实体识别（如从发票中抽取金额、日期）、文档分类和文档视觉问答等。与纯文本或纯图像任务不同，这些任务的输入同时包含字符内容、字符在页面上的坐标以及页面渲染图像，模型需要融合三种异质信息才能做出预测。因此，解释方法不仅要说明哪些词或区域重要，还要区分信息来自文本语义、空间布局还是视觉外观，这构成了文档XAI区别于通用XAI的根本挑战。

评估规模：13种方法、8个数据集、17项指标

据论文描述，研究团队用DocXEval系统评估了13种XAI方法，覆盖3类文档理解任务、8个数据集、4个模型和17项评估指标。这个组合规模在文档XAI领域尚属首次，目的不是选出单一最优方法，而是建立可复用的基准。

评估结果的一个核心发现是：只有少数方法能在所有评估标准下保持一致表现，其中Occlusion在忠实性和可解释性两个维度上综合表现最好。这一结论对实践者有直接参考价值——当团队需要快速为文档模型添加解释能力时，Occlusion是相对稳妥的起点。

Occlusion（遮挡法） 是一类基于扰动的事后解释方法：它通过系统地遮挡输入的不同部分（如文本片段、图像区域或版面块），观察模型输出概率的变化，并将变化幅度作为该部分重要性的度量。在文档场景中，遮挡可以分别作用于文本、图像和布局坐标，因此天然适合拆解多模态贡献。其优点是模型无关、概念直观，缺点是计算开销随遮挡单元数量增长，且对遮挡粒度的选择敏感。

元评估揭示指标间的可信度差异

DocXEval的另一项工作是元评估，即检验评估指标本身是否可靠。研究发现，若干忠实性指标和复杂度指标之间存在中等至强的一致性，说明这些指标在测量相似的东西；同时也识别出部分指标会产生不可靠结果。

这对XAI研究的警示很明确：如果评估指标本身不可信，基于它得出的方法排名就可能失真。后续研究在选择评估指标时，应优先采用那些经过元评估验证、与其他指标一致性较高的指标。

元评估（meta-evaluation） 指对评估指标本身进行再评估，检验其是否稳定、一致且能真实反映解释质量。在XAI领域，常用做法是计算不同指标之间的秩相关性（如Spearman系数），若多个旨在测量同一构念（如忠实性）的指标高度一致，则说明它们可信；若某指标与其他指标矛盾或对扰动敏感，则其结论值得怀疑。DocXEval的元评估正是通过这种指标间一致性分析，筛除不可靠指标，避免方法排名被噪声误导。

数据集级诊断分析带来的模型行为洞察

除方法排名外，DocXEval通过多次数据集级诊断分析，给出了关于模型行为的若干关键洞察：不同任务和标签下各模态的贡献差异、目标实体周围的空间归因模式，以及潜在的数据集偏差。

这些分析的价值在于把可解释性从“解释单个预测”推进到“理解模型整体行为”。例如，空间归因模式能揭示模型是否过度依赖实体周围的版面线索，而数据集偏差的发现则提醒研究者在数据构建阶段就要警惕捷径学习。

空间归因模式指解释方法分配给目标实体周围空间区域（如相邻文本块、表格线、印章位置）的重要性分布。通过聚合大量样本的空间归因，可以判断模型是否过度依赖位置捷径——例如仅凭金额出现在页面右上角就预测其为总额，而非真正理解语义。这类诊断把单样本解释提升为数据集级别的行为画像，有助于发现系统性偏差和捷径学习，指导数据增强或模型正则化。

对实践者的意义

DocXEval同时扮演基准和实用指南两个角色。对研究者，它提供了统一的评估协议和公开代码（已在GitHub发布），便于复现和横向比较；对工程团队，它给出了方法选型的经验依据，并提示了评估指标选择上的陷阱。文档理解模型要进入高风险行业，这类系统性评估是绕不开的基础设施。

常见问题

DocXEval支持哪些文档理解任务？

论文覆盖3类文档理解任务，包括语义实体识别等典型任务，并为这类任务提供了多目标适配版本的解释方法和指标。

Occlusion为什么表现最好？

论文的结论是Occlusion在忠实性和可解释性上综合最优，但具体机制需参考原文对各方法的对比分析。

代码是否开源？

是，代码已在 https://github.com/saifullah3396/docxeval/ 公开，以支持可复现研究。