因果决策的泛化：马尔可夫等价、可迁移性与反事实

因果推断与强化学习的交叉领域正在快速演进。一篇新论文《Generalizing Causal Decision-Making: Markov Equivalence, Transportability and Counterfactuals》将结构因果bandit（structural causal bandit）框架推广到三种更贴近现实的设定：部分已知的因果结构、来自其他环境的信息，以及可实施的反事实动作。这项研究为智能体在因果知识不完整时如何高效探索提供了新的理论工具。

从完全已知到部分已知：马尔可夫等价下的最小干预集

经典的结构因果bandit假设因果图完全已知，智能体可以据此选择干预动作。但现实中，我们往往只能观测到数据的部分信息，得到的是马尔可夫等价类——多个因果图在观测数据上无法区分。论文首先针对这一场景发展了图形化准则，用于在马尔可夫等价下识别最小干预集（minimal intervention sets）。

具体而言，作者刻画了最大祖先图（maximal ancestral graph）中“可能最优”的最小干预集，并设计了一种搜索算法，能够在部分祖先图（partial ancestral graph）所表示的至少一个图中找到可能最优的集合。这意味着智能体无需确定唯一的真实因果图，也能筛选出值得探索的干预动作。

马尔可夫等价类是指一组在观测数据上无法区分的因果图，它们蕴含相同的条件独立性关系。在因果发现中，仅凭观测数据通常只能确定一个等价类，而非唯一的真实图。部分祖先图（PAG）是表示马尔可夫等价类的图形工具，其边带有圆形、箭头等标记，用以编码所有等价图中可能的祖先关系。最大祖先图（MAG）则是等价类中具有最多祖先边的图，常用于定义可能最优的干预集。理解这些图形表示是把握论文中“可能最优”概念的基础。

跨环境迁移：部分可迁移性与奖励边界

第二个推广方向解决的是信息复用问题。当目标环境的奖励分布未知时，能否借助源环境的数据来约束目标环境的奖励？论文通过“部分可迁移性”（partial transportability）推导了目标奖励的边界，并特别考虑了不可操控变量（non-manipulable variables）的影响。

这些边界进一步导出了支配关系（dominance relations），可用于动作剪枝和受限探索。在有效的先验边界下，作者给出了遗憾（regret）保证。据论文描述，这种迁移机制能够显著缩小需要探索的动作空间，同时保留最优动作。

可迁移性（transportability）是因果推断中研究如何将源环境的因果知识迁移到目标环境的形式化框架，由Pearl和Bareinboim提出。它通过选择图（selection diagrams）编码环境间的差异，并利用do-演算推导目标环境中的因果效应是否可识别。部分可迁移性则指仅有部分机制可迁移或部分数据可用的情况，此时目标奖励无法精确识别，但可推导出边界。支配关系（dominance relations）指若一个动作在所有可能奖励分布下的期望收益均不优于另一动作，则可将其剪枝，从而缩小探索空间。

反事实动作：在实验能力约束下学习

第三个推广将反事实引入结构因果bandit。智能体可选择的动作并非任意干预，而是受限于特定的实验能力（experimental capabilities）——即现实中能够实施的反事实动作。论文形式化了这类反事实结构因果bandit，并给出了最小性和可能最优性的图形化刻画。

基于这些刻画，作者提出了算法，能够移除等价或受支配的选择，同时保证不丢失最优动作。实验部分使用指定的结构因果模型，考察了这些约简和迁移边界如何影响学习过程。

反事实（counterfactual）在因果推断中指对同一单元在不同于实际发生的干预下的结果进行推理，通常用do-演算和结构因果模型中的反事实变量表示。在结构因果bandit中，反事实动作并非任意干预，而是受限于智能体实际能实施的实验能力，例如只能对某些变量进行干预或只能实施特定类型的干预。形式化这类约束需要扩展动作空间的定义，将可行性条件纳入其中，并重新定义最优动作和遗憾。图形化刻画则利用因果图的结构信息判断哪些反事实动作可能最优，从而避免不必要的实验。

统一视角：因果知识与实验能力共同决定探索空间

三项推广共享一个核心思想：因果知识和实验能力共同决定了哪些动作值得探索。马尔可夫等价处理的是结构不确定性，可迁移性处理的是环境间信息复用，反事实则处理的是动作可行性约束。论文的图形化准则和算法为每种情形提供了可操作的动作筛选方法，并在保留最优动作的前提下缩小探索空间。

对于构建实用因果强化学习系统的研究者而言，这项工作提示了一个方向：与其追求完整的因果图，不如利用部分结构信息、跨环境边界和动作可行性来约束探索——这或许是在真实世界中部署因果决策智能体的更现实路径。