ReShap:让深度强化学习在高维多动作场景中可解释

ReShap通过特征提取、SHAP归因与策略蒸馏,将Shapley可解释性扩展到高维多动作强化学习。
ReShap是一个面向深度强化学习策略的可解释性框架,旨在突破以往基于Shapley值的方法仅适用于低维状态、二动作和单一线性代理模型的局限。它先从图像观测中提取紧凑特征,用SHAP对特征做归因,再在策略访问分布下将深度策略蒸馏为决策树、线性回归或逻辑回归等可解释代理模型。研究在Atari和Box2D环境中用三种深度RL算法评估,并辅以人类受试者研究。结果显示,ReShap在保持竞争性任务性能的同时,决策树代理通常在保真度和回报上优于线性与逻辑回归,线性回归表现最弱。这表明基于Shapley的可解释性可扩展到高维、多动作场景而无需大幅牺牲性能。
ReShap:让深度强化学习在高维多动作场景中可解释
深度强化学习(RL)在复杂任务中表现出色,但其策略由深度神经网络驱动,决策过程如同黑箱。为了让RL策略更可信,研究者尝试用Shapley值等博弈论工具解释策略行为。然而,现有工作(如SILVER框架)通常局限于低维状态空间、二动作设定和单一线性代理模型。最近提出的ReShap框架试图打破这些限制,将基于Shapley的可解释性扩展到高维、多动作环境。

ReShap如何工作:从图像到可解释代理
ReShap是一个策略蒸馏框架。它首先从原始图像观测中提取紧凑的特征表示,然后对这些特征进行基于SHAP的归因分析,刻画每个特征对策略决策的贡献。接着,ReShap将深度RL策略蒸馏到一个可解释的代理模型中,该代理模型在策略访问分布下的全部(状态,策略动作)对上训练。
这一流程的关键在于,代理模型不仅要忠实反映原策略的行为,还要保持可解释性。ReShap实例化了三种可解释模型家族:决策树、线性回归和逻辑回归,并比较它们的保真度和任务回报。
Shapley值源自合作博弈论,其核心思想是将一个“联盟”的总收益公平地分配给各个参与者:每个参与者的贡献等于它在所有可能子集中加入时带来的边际收益的平均值。在机器学习可解释性中,SHAP(SHapley Additive exPlanations)把特征视为参与者、模型输出视为总收益,从而为每个特征分配一个满足局部准确性、缺失性和一致性公理的归因值。SHAP的一个关键性质是加性:所有特征的SHAP值之和等于模型输出与基线(通常是平均预测)之差,这使得解释可以精确分解。然而,计算精确Shapley值需要枚举所有特征子集,复杂度随特征数指数增长,因此实际实现通常采用核SHAP、树SHAP或采样近似等变体。ReShap正是利用SHAP对提取出的紧凑特征做归因,从而在特征层面刻画策略决策的依据。
策略蒸馏是知识迁移的一种形式,通常指让一个较小的“学生”模型模仿一个较大“教师”模型的行为。在强化学习中,蒸馏的监督信号可以是教师策略输出的动作概率分布(软标签),也可以是教师实际采取的动作(硬标签)。ReShap采用的是后者:它在策略访问分布下收集(状态,策略动作)对,把深度RL策略在这些状态上选出的动作作为标签,训练可解释代理模型去复现该映射。这里“策略访问分布”指智能体按原策略运行时实际遇到的状态分布,它决定了代理模型的训练覆盖范围。保真度(fidelity)衡量代理模型与原策略在相同状态上决策的一致程度,是评价蒸馏质量的核心指标;保真度高意味着代理模型能较准确地替代原策略,从而其解释也更可信。
实验设置与多源验证
ReShap在Atari和Box2D环境中进行评估,使用了三种深度RL算法。据论文描述,研究还包含一项人类受试者研究,以评估生成策略的清晰度和可信度。多源信息交叉验证显示,ReShap在保持竞争性任务性能的同时,决策树通常优于线性回归和逻辑回归,而线性回归在大多数设定中表现最弱。

这一结论在不同算法和环境下具有一致性,表明决策树作为代理模型在保真度和可解释性之间取得了较好平衡。
Atari 2600基准是深度强化学习最常用的视觉输入测试平台之一,包含数十款游戏,观测为原始像素图像,动作空间通常为离散的多个按键组合(如Pong有6个动作),状态维度高且具有部分可观测性。Box2D则是基于物理引擎的连续控制环境集合(如LunarLander、BipedalWalker),状态为低维连续向量、动作为连续值,常用于检验算法在连续动作空间的表现。二者结合覆盖了高维视觉输入与连续控制两类典型场景,也对应了离散多动作与连续动作两种动作设定。正因如此,ReShap在这两类环境、三种深度RL算法上的验证,才能支撑其“扩展到高维、多动作场景”的结论,而非仅适用于单一设定。
性能与可解释性的权衡
ReShap的核心贡献在于证明了基于Shapley的可解释性可以扩展到高维、多动作场景,而无需牺牲太多性能。决策树代理在大多数情况下表现最佳,这可能是因为树模型能更好地捕捉非线性决策边界,同时保持可读性。线性回归的弱势则提醒我们,简单线性模型可能不足以近似复杂策略。
对人类信任的影响
人类受试者研究旨在评估策略的清晰度和可信度。虽然原文未披露具体结果,但这一环节强调了可解释性研究的最终目标:让人类用户能够理解并信任RL系统。ReShap通过提供特征归因和可解释代理,为构建可信RL迈出了一步。
在可解释AI研究中,人类受试者研究通常采用对照实验:让参与者观察原策略与可解释代理的行为或解释,再通过问卷或任务测量其对系统的理解程度、信任水平和接受意愿。常用指标包括解释的清晰度评分、对策略决策的预测准确率(即参与者能否根据解释预判智能体动作)以及主观信任量表。这类研究的意义在于区分“技术上的可解释”与“对人而言可理解”:一个代理模型即使保真度很高,若其解释形式不符合人类认知习惯,也未必能提升信任。因此,人类评估是可解释性研究从算法指标走向实际应用的关键一环,也解释了为何ReShap在定量实验之外还要引入受试者研究。
局限与未来方向
ReShap目前仍依赖于SHAP归因,计算成本可能较高。此外,代理模型的保真度与可解释性之间仍需进一步平衡。未来工作可以探索更高效的特征归因方法,或将框架扩展到更复杂的动作空间和部分可观测环境。
总体而言,ReShap为高维、多动作场景下的可解释强化学习提供了一个实用的框架,并通过多环境实验验证了决策树代理的有效性。
相关推荐

间谍蜜罐训练内幕:情感解离与锚定技术
间谍如何被训练执行蜜罐任务?一位受训者披露情感解离、香水与关键词锚定、目标照片绑定等心理学技术,解析条件反射如何被用于情报行动,并揭示这套机制在日常生活营销中的类似应用。

前沿AI风险管理:从训练到部署的全链路实践
OpenAI系统阐述前沿AI风险管理框架:从训练阶段的模型对齐,到部署阶段的沙箱隔离与阻断式防护,再到部署后的持续监控,构建贯穿模型全生命周期的分层风险控制体系。

Databricks推出Genie Migrate,简化Serverless迁移
Databricks 发布 Genie Migrate for Serverless,帮助用户将既有工作负载迁移到 Serverless 计算。本文解析该迁移工具的定位、对用户的实际意义以及尚未明确的细节。