可迁移离线强化学习：破解未测量混杂与领域差异

离线强化学习（Offline RL）旨在利用历史数据学习决策策略，但实际部署时，环境往往与数据收集的领域不同，且记录变量可能遗漏同时影响动作和结果的混杂因子。这篇论文聚焦于领域差异与未测量混杂的联合挑战，提出一个因果调整的可迁移性框架，利用多个异构源数据集互补信息，识别目标域的因果量。

问题背景：当离线数据不完美

传统离线RL假设数据来自目标域且所有混杂因子可观测，但现实场景中这两个假设常被打破。例如，医疗决策中不同医院的数据分布不同，且患者的社会经济状态等混杂因素未被记录。论文同时处理两个问题：

• 领域差异：源数据与目标部署环境分布不同
• 未测量混杂：历史动作和结果受隐藏变量影响

多个异构源数据集可能提供互补信息，但如何整合它们以识别目标域的策略仍是一个开放问题。

混杂因子（Confounder） 是同时影响处理变量（此处为动作）和结果变量的第三变量。在因果推断中，若混杂因子未被观测和调整，从观测数据估计的动作效应会有偏。例如在医疗决策中，医生给重症患者开更积极的治疗，导致治疗与结果之间的观测关联偏离真实因果效应。在离线强化学习中，未测量混杂使行为策略与结果相关，直接使用记录数据做策略评估或优化会产生偏差，需要借助工具变量、阴性对照或代理变量等辅助结构实现因果识别。

核心框架：因果调整的可迁移性

作者将可迁移性理论与工具变量、阴性对照和代理变量结合，构建了一个识别目标域因果量的统一框架。对于混杂上下文赌博机（confounded contextual bandits），识别问题转化为桥函数积分方程组，从而允许有限样本下的极小极大估计。基于识别量的置信集，作者提出悲观策略优化算法 CAT-CCB。

这一思路的关键在于：即使单个源数据集无法识别因果效应，多个源数据的互补结构仍可能满足识别条件。

工具变量（Instrumental Variable）、阴性对照（Negative Control）和代理变量（Proxy Variable） 是三类常用的因果识别工具。工具变量通过一个只影响动作而不直接影响结果（除通过动作外）的变量来剥离混杂；阴性对照是一个已知对结果无因果效应的变量，用于检测和校正残余混杂；代理变量则通过两个分别与动作或结果相关的观测变量来间接控制未测量的混杂因子。将这些工具变量与可迁移性理论结合，可以在源域与目标域分布不同、且存在隐藏混杂时，建立目标域因果量的识别方程。

桥函数（Bridge Function） 是因果推断中用于连接观测分布与潜在因果量的关键函数。在存在未测量混杂时，桥函数满足积分方程，将可观测的条件分布与不可观测的混杂分布联系起来。通过求解桥函数的积分方程组，可以把识别问题转化为有限维参数估计问题，进而构造极小极大估计器。在混杂上下文赌博机中，桥函数方法允许在仅有观测数据的情况下识别动作的条件期望奖励，为目标域的策略优化提供统计基础。

扩展到序贯决策：CAT-CMDP

框架进一步扩展到片段式混杂马尔可夫决策过程（episodic confounded MDP）。在结构性和完备性条件下，互补源数据可以识别目标域的奖励和转移机制。在高斯动力学和线性函数近似下，得到算法 CAT-CMDP。

理论方面，作者建立了高概率有限样本次优性保证，量化了近似误差、估计误差、源到目标偏移、离线覆盖和样本量的影响。对于有界有限维线性类，上下文赌博机的保证恢复了标准的 $\widetilde{\mathcal O}(N^{-1/2})$ 速率。

片段式混杂马尔可夫决策过程（Episodic Confounded MDP） 是标准MDP的扩展，其状态转移和奖励不仅依赖当前状态和动作，还受未观测的混杂变量影响，且每个片段（episode）独立。在此设定下，转移核和奖励函数都带有隐藏混杂，直接使用离线数据估计会引入偏差。识别目标域的奖励与转移机制需要额外的结构性条件和完备性条件；前者限定混杂的作用方式，后者保证源数据能覆盖目标域的相关分布。在高斯动力学和线性函数近似假设下，这些条件可转化为可计算的矩方程，从而支撑CAT-CMDP的估计与优化。

实验与启示

数值实验验证了框架在从异构混杂数据中学习目标域策略的有效性。这项工作为没有单一源数据集足以进行因果识别和策略优化的场景提供了原则性方法。

对实践者的启示：当面对多源离线数据时，不应简单合并或忽略混杂，而应通过因果调整的可迁移性框架，明确识别所需条件，并利用悲观优化保证策略的稳健性。

注：本文基于论文摘要，未涉及具体实现细节和实验数值。