多智能体强化学习中的交互介导非平稳性挑战

在强化学习领域，多智能体系统面临一个根本性难题：每个智能体单独看可能处于平稳环境，但它们的交互却共同制造了非平稳性。近期Reddit社区的一篇讨论帖《Stationary Alone, Drifting Together》对此进行了深入探讨，提出了“交互介导的非平稳性”这一概念，并给出了适应策略。

什么是交互介导的非平稳性？

在多智能体强化学习（MARL）中，通常假设每个智能体的策略固定时，环境对单个智能体是平稳的。然而，当多个智能体同时学习并更新策略时，每个智能体所面对的环境（包括其他智能体的行为）会不断变化，导致非平稳性。这种非平稳性并非来自环境本身，而是由智能体之间的交互介导产生的。

帖子指出，这种非平稳性具有双重性：从单个智能体的视角看，如果其他智能体的策略固定，那么环境是平稳的；但从整体系统看，所有智能体都在学习，导致联合策略分布不断漂移。这种“单独平稳，共同漂移”的现象是MARL的核心挑战之一。

马尔可夫博弈（Markov Game） 是MARL的标准形式化框架，通常用元组 $(\mathcal{N}, \mathcal{S}, {\mathcal{A}i}, P, {R_i}, \gamma)$ 描述：$\mathcal{N}$ 为智能体集合，$\mathcal{S}$ 为联合状态空间，$\mathcal{A}i$ 为第 $i$ 个智能体的动作空间，$P(s'|s,\mathbf{a})$ 为联合动作下的状态转移，$R_i$ 为各智能体的奖励函数。关键在于，每个智能体的转移与奖励都依赖于所有智能体的联合动作 $\mathbf{a}=(a_1,\dots,a_n)$。当其他智能体的策略 $\pi{-i}$ 固定时，对智能体 $i$ 而言环境退化为一个标准MDP，因而“单独平稳”；但所有 $\pi_i$ 同时在更新时，联合策略分布 $\pi(\mathbf{a}|s)$ 随时间漂移，智能体 $i$ 实际面对的等效转移 $P_i(s'|s,a_i)=\mathbb{E}{a_{-i}\sim\pi_{-i}}[P(s'|s,a_i,a_{-i})]$ 也随之改变。这正是“单独平稳、共同漂移”的形式化来源，也解释了为何在马尔可夫博弈框架下非平稳性无法通过单智能体视角消除。

传统方法的局限性

常见的MARL方法如独立Q学习（Independent Q-Learning）虽然简单，但忽略了非平稳性，容易导致学习不稳定。而集中训练分散执行（CTDE）框架通过共享全局信息来缓解问题，但依然难以完全消除交互带来的漂移。

帖子中提到，许多研究试图通过经验回放、对手建模或策略正则化来应对，但这些方法往往假设非平稳性是有界的或可预测的。实际上，交互介导的非平稳性可能更加动态和复杂。

集中训练分散执行（CTDE） 是一类训练范式而非单一算法：训练阶段允许使用全局状态与所有智能体的动作信息，执行阶段每个智能体仅依赖局部观测独立决策。代表性工作包括VDN、QMIX（值分解）、MADDPG（集中式critic）与COMA（反事实基线）。CTDE缓解非平稳性的机制在于：集中式critic以联合状态-动作作为输入，相当于为每个智能体提供了一个在训练时“看穿”他人策略的评估器，从而降低策略梯度估计的方差。但它并不改变联合策略持续漂移这一事实——critic本身也在非平稳的目标上被拟合，且在执行阶段智能体仍只能基于局部信息应对他人行为的变化。因此CTDE可视为对非平稳性的缓解而非消除，这也与原文“难以完全消除交互带来的漂移”的判断一致。

适应策略：从理论到实践

针对这一挑战，帖子讨论了几种适应思路。一种方向是元学习（Meta-Learning），让智能体学会快速适应其他智能体的策略变化。另一种是分层学习，将交互模式抽象为高层策略，降低底层策略的漂移速度。

此外，帖子还提到利用图神经网络（GNN）建模智能体间的交互关系，从而显式地捕捉非平稳性的来源。通过动态更新交互图，智能体可以更好地预测他人的行为变化，减少环境漂移带来的影响。

图神经网络（GNN） 通过消息传递在图的节点与边之间聚合信息，其核心是置换不变/等变的聚合函数（如求和、注意力）。在MARL中，通常将每个智能体视为节点，将可观测的交互关系（距离、通信链路、邻接矩阵）视为边，用GNN在每一时间步聚合邻居信息以生成各智能体的策略输入。其价值在于：智能体数量变化或邻居集合动态改变时，GNN的结构无需重新设计，因而天然适配“动态更新交互图”的需求；同时，学习到的边权重或注意力可解释为对其他智能体行为影响的估计，为预测他人策略变化提供显式信号。局限在于，图结构往往由启发式规则给定，若真实交互关系不可观测，GNN只能隐式推断，其效果依赖于交互图估计的准确性。

对研究社区的启示

这篇讨论强调了重新审视MARL中非平稳性假设的必要性。传统的平稳性假设在交互介导的场景下不再成立，需要开发新的理论工具和算法。帖子呼吁研究者关注交互结构的设计，以及如何利用交互信息来稳定学习过程。

对于从业者而言，理解这一挑战有助于设计更鲁棒的多智能体系统，例如在自动驾驶、机器人协作和游戏AI中。未来，结合因果推理和自适应交互建模可能成为重要方向。

总结一下，交互介导的非平稳性是MARL中一个值得深入探索的前沿问题，需要理论创新与算法改进并举。