多智能体RL中，每个智能体的策略同时更新导致其他智能体面临的环境（联合策略）不断变化，破坏了单智能体RL中马尔可夫决策过程的平稳性假设。