非平稳性
多智能体强化学习中的核心挑战，指由于多个智能体策略的持续更新，每个智能体所面对的环境分布不断变化，导致基于固定环境假设的收敛性保证失效的现象
核心事实
时间轴 (近 90 天)
多智能体RL中，每个智能体的策略同时更新导致其他智能体面临的环境（联合策略）不断变化，破坏了单智能体RL中马尔可夫决策过程的平稳性假设。
非平稳性指数据的统计特性（均值、方差、自相关结构等）随时间发生变化，金融市场的非平稳性尤为突出。
用旱季两周数据训练的模型在湿季开始一个月内退化到接近随机性能。
PACT方法试图直接针对交互引发的非平稳性进行建模与适应，让智能体显式识别并适应由其他智能体交互带来的分布变化
交互引发的非平稳性破坏了MDP的平稳性假设，使基于该假设推导的收敛性保证失效
现实世界具有非平稳性，训练时的策略在环境发生分布偏移后性能可能急剧下降
股价序列是典型的非平稳数据，模型训练时数据分布与预测时数据分布的实质性变化在统计学中称为「概念漂移」
全部知识事实 (8)
金融市场具有极强的非平稳性与低信噪比特征，历史规律未必延续未来
70%待验证多智能体RL中，每个智能体的策略同时更新导致其他智能体面临的环境（联合策略）不断变化，破坏了单智能体RL中马尔可夫决策过程的平稳性假设。
50%待验证非平稳性指数据的统计特性（均值、方差、自相关结构等）随时间发生变化，金融市场的非平稳性尤为突出。
50%待验证用旱季两周数据训练的模型在湿季开始一个月内退化到接近随机性能。
50%待验证交互引发的非平稳性破坏了MDP的平稳性假设，使基于该假设推导的收敛性保证失效
50%待验证PACT方法试图直接针对交互引发的非平稳性进行建模与适应，让智能体显式识别并适应由其他智能体交互带来的分布变化
50%待验证现实世界具有非平稳性，训练时的策略在环境发生分布偏移后性能可能急剧下降
50%待验证股价序列是典型的非平稳数据，模型训练时数据分布与预测时数据分布的实质性变化在统计学中称为「概念漂移」
50%