Hide and Seek：无需模型权重的黑盒视觉模型概念解释新方法

黑盒视觉模型的可解释性困境

深度学习视觉模型在图像分类、分割、描述生成等任务上表现强劲，但它们大多是难以窥探内部逻辑的"黑盒"。当一个模型判断某张人脸"微笑"或识别出图像中的"天空"时，我们很难知道它究竟依据了哪些视觉特征做出决策。这正是机器学习可解释性研究的核心挑战。

基于概念（concept-based）的归因方法试图用人类可理解的概念来解释模型行为，是近年来较受关注的方向。然而现有方法有几个明显的硬伤：它们通常只能解释分类和回归模型，需要访问模型权重，或者依赖大规模的概念标注数据集，而且大多数方法无法提供图像级别的归因。这些限制让它们在真实的黑盒场景中几乎派不上用场。

基于概念的归因方法中，最具代表性的早期工作是 TCAV（Testing with Concept Activation Vectors），它通过在模型中间层的激活空间中训练线性分类器来量化某个概念对预测结果的影响。此后的 ACE、ConceptSHAP 等方法在此基础上进行了扩展，但都保留了"需要访问模型内部"的前提。与之并行的是基于像素级归因的方法（如 LIME、SHAP、Grad-CAM），这些方法虽然更普及，但其解释单元是像素或区域，而非人类熟悉的语义概念（如"胡须""蓝天"），可读性有限。两条路线的核心矛盾在于：语义可读性强的方法往往需要白盒访问，而黑盒友好的方法又缺乏语义层面的解释力。HnS 试图同时满足两个条件，正是在这一背景下具有方法论上的新颖性。

HnS 方法：遮住概念再追踪影响

一篇新论文提出了名为 Hide and Seek（HnS） 的概念级归因方法，核心思路可以从名字直观理解——先"藏起"某个概念，再"寻找"它对模型输出的影响。

HnS 最大的突破在于不需要访问模型权重，也不需要带概念标注的数据集。给定一个概念和一组图像，它的工作流程大致如下：

四步归因流程

• 检索对齐图像：利用视觉-语言模型（VLM）从图像集中检索出与目标概念相关的图像；
• 定位概念区域：在每张图像中定位该概念所对应的具体区域；
• 遮蔽处理：将定位到的区域进行掩码（masking）；
• 测量归因：比较黑盒模型在原始图像和遮蔽图像上的输出变化，变化越大，说明该概念对模型决策的贡献越大。

这种设计的巧妙之处在于，它直接通过观测模型的行为变化来衡量归因，而不是依赖模型内部参数的梯度或激活值。这让归因结果更"忠实"（faithful）地反映模型实际的决策依据，同时天然支持局部（image-level）归因。

这里的"遮蔽"并非简单地将像素置零，而是一个需要谨慎设计的步骤。常见的遮蔽策略包括用平均色填充、用高斯噪声填充、或用图像修复（inpainting）算法生成语义连贯的背景。不同填充方式会引入不同程度的"分布外"（out-of-distribution）问题——即被遮蔽后的图像可能落在模型训练数据的分布之外，导致输出变化并非因为概念被移除，而是因为输入本身变得"异常"。这是所有遮蔽类归因方法共同面临的基本挑战，也是评估遮蔽归因结果是否"忠实"时需要考量的重要因素。HnS 的归因有效性，在一定程度上取决于遮蔽实现对分布偏移的控制程度。

验证结果：更贴近真实归因

研究团队在 CelebA 和 COCO-Stuff 两个数据集上验证了 HnS。前者是人脸属性数据集，后者包含丰富的物体与背景场景标注，二者分别覆盖了属性识别与复杂场景理解两类任务。

实验显示，与现有方法相比，HnS 与真实归因（ground-truth attributions）的一致性更高。这意味着它给出的"哪个概念重要"的解释，更接近人类标注的客观答案，而不仅仅是自洽的数值。

CelebA 是一个包含约 20 万张名人人脸图像的大规模数据集，每张图像附有 40 种二元属性标注（如"是否微笑""是否戴眼镜""是否有胡须"等），常用于人脸属性识别和生成模型的评估。COCO-Stuff 则是在 MS-COCO 基础上扩展的场景理解数据集，为原有的物体标注补充了 91 类"stuff"（即草地、天空、水面等无定形背景区域）的像素级分割标注，覆盖了更复杂的自然场景语义。两者搭配使用，能够评估概念归因方法在人脸属性这类局部细节概念和场景语义这类全局分布概念上的表现差异，是该领域较为标准的评估组合。

真正的通用性：跨任务可用

HnS 最具实用价值的一点，是它能够解释现有概念归因方法完全无法处理的任务。论文中展示了两个典型场景：

• 图像描述生成（image captioning）：这类生成式任务不属于传统的分类或回归范畴，现有概念归因方法基本束手无策；
• 卫星图像分割（satellite image segmentation）：遥感领域的分割任务同样缺乏成熟的概念解释工具。

由于 HnS 把模型完全当作黑盒，仅观测输入输出关系，它在原理上可以适配各种各样的视觉模型，无论其架构或任务类型如何。这种"模型无关"的特性，让它在实际部署中的适用面远大于那些需要白盒访问的方法。

意义与局限

HnS 代表了可解释性研究的一个务实方向：承认现实中我们往往只能接触到模型的 API，而非内部权重，因此解释方法必须在黑盒约束下工作。它用遮蔽-观测这一直观机制，绕开了对模型内部的依赖和对标注数据的需求。

不过也应看到，该方法的效果高度依赖前置的两个环节——VLM 的概念检索能力和概念区域的定位精度。如果 VLM 检索到的图像与概念对齐度不高，或定位区域不准确，归因结果可能受到影响。此外，论文目前仅提供了匿名代码（供同行评审），尚处于学术验证阶段，大规模实践效果仍有待观察。

总体而言，HnS 为黑盒视觉模型提供了一条无需特权访问即可获得忠实、局部化概念解释的新路径，对于那些只能以 API 形式调用模型的应用场景具有现实价值。