多智能体强化学习的非平稳性难题：PACT方法解析

当「单独稳定」遇上「群体漂移」

多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）长期面临一个核心困境：每个智能体单独看来策略是稳定的，但当多个智能体在同一环境中交互时，彼此的行为会不断改变对方所面对的环境分布，导致整体系统呈现出「非平稳性」（nonstationarity）。这篇题为《Stationary Alone, Drifting Together》的工作，正是围绕这一问题展开——标题本身就凝练地刻画了矛盾：孤立时平稳，交互时漂移。

在传统单智能体强化学习中，环境被假设为相对固定的马尔可夫决策过程。但在多智能体场景下，当其他智能体也在同步学习和调整策略时，从任意一个智能体的视角看，它所处的环境本身就是动态变化的目标。这种由交互引发的非平稳性（interaction-mediated nonstationarity）会严重影响学习的收敛性和稳定性。

马尔可夫决策过程（Markov Decision Process, MDP）是单智能体强化学习的标准形式化框架，它用状态空间、动作空间、转移概率和奖励函数来描述智能体与环境的交互，并假设转移概率在训练过程中保持固定。多智能体场景中，研究者通常将问题扩展为随机博弈（Stochastic Game）或马尔可夫博弈，此时每个智能体的转移概率和奖励同时依赖所有智能体的联合动作。问题的根源在于：当每个智能体都在异步或同步地更新策略时，从任意单一智能体的视角来看，「其他智能体的当前策略」构成了它所面对的隐含环境参数，而这个参数在训练中持续变化，从而破坏了 MDP 的平稳性假设，使得基于该假设推导出的收敛性保证全部失效。

交互引发的非平稳性为何棘手

问题的本质在于：智能体在训练过程中观测到的状态转移和奖励信号，并非来自一个固定不变的环境，而是受到其他智能体当前策略的调制。当队友或对手改变行为模式时，原本学到的最优反应可能瞬间失效。

这种「漂移」具有几个典型特征：一是它是耦合的，多个智能体的策略更新相互纠缠，难以单独分析；二是它是时变的，随着训练推进，漂移的方向和幅度都在变化；三是它难以用静态模型捕捉，因为问题的难点恰恰来自动态交互本身。

正因如此，许多在单智能体任务上表现优异的算法，一旦放到多智能体协作或竞争场景中，就会出现训练不稳定、策略震荡甚至无法收敛的情况。如何让智能体在群体漂移中保持适应能力，是该领域的关键挑战。

学术界已提出若干缓解非平稳性的主流策略，可作为理解 PACT 所处研究背景的参照。「集中训练-分散执行」（Centralized Training with Decentralized Execution, CTDE）范式通过在训练阶段共享全局信息（如 QMIX、MAPPO），在一定程度上减少了策略更新的相互干扰；对手建模（Opponent Modeling）方法尝试让智能体推断其他智能体的策略意图，从而预判环境漂移；另一类基于元学习（Meta-Learning）的方法则致力于训练出能够快速适应策略分布变化的「快速适应器」。然而这些方法各有局限：CTDE 在去中心化执行时仍受漂移影响，对手建模的计算代价随智能体数量指数增长，元学习方法的泛化边界也尚不明确。PACT 的出发点正是在这一背景下寻找更直接针对交互结构本身的解法。

PACT 的思路：面向交互的自适应

该工作提出的方法（在演示中以 PACT 命名）试图直接针对交互引发的非平稳性进行建模与适应。从命名与演示定位推断，其核心思路是让智能体不再把环境当作固定黑箱，而是显式地识别并适应由其他智能体交互所带来的分布变化。

这类方法通常的切入点包括：对其他智能体的策略进行建模或预测，从而提前预判环境漂移；在学习过程中引入自适应机制，使策略能够快速响应交互带来的变化；以及通过某种一致性或协调约束，降低多智能体同步更新所引发的不稳定。

作者在 Hugging Face Spaces 上提供了可交互的在线演示（pact-demo），这意味着读者可以直接观察该方法在多智能体场景下的行为表现，而不仅仅停留在论文的理论描述层面。可运行的 demo 对于验证算法在实际交互中的适应能力尤为重要。

对研究与实践的意义

多智能体强化学习是通往更复杂协作系统的重要路径，无论是自动驾驶车队的协同、分布式机器人编队，还是大规模博弈与经济仿真，都离不开对群体交互动态的有效建模。能够妥善处理交互引发的非平稳性，是这些应用从实验室走向落地的前提之一。

对研究者而言，这类工作提供了一个重新审视非平稳性来源的视角——不是把非平稳性当成需要回避的噪声，而是将其识别为由交互结构决定的、可建模可适应的现象。这种视角转变本身就有价值。

需要说明的是，由于当前可获取的素材主要是论文标题与在线演示链接，关于 PACT 的具体算法细节、实验基准和对比结果仍有待查阅完整论文。建议对该方向感兴趣的读者直接访问其 Hugging Face 演示页面亲自体验，并进一步查阅原始论文以获取方法与评测的完整信息。

自动驾驶车队协同和多机器人编队是多智能体强化学习最具代表性的落地场景，二者对非平稳性的容忍度极低。在车队协同中，每辆车的驾驶策略变化都会实时改变其他车辆所感知的交通流分布，策略震荡可能直接引发安全事故；在机器人编队中，单个机器人的路径调整会影响整体队形的稳定性，非平稳性导致的收敛失败意味着任务失败。正因为这些应用场景中错误代价极高，算法必须在训练和部署阶段都对交互引发的分布变化具备鲁棒性，而不能仅在孤立的模拟基准上表现良好。这也是该方向从纯理论研究走向工程应用时面临的关键门槛。