对抗性MDP中，环境每回合可选择任意损失函数（可能依赖算法历史），损失可随时间任意变化，标准乐观或置信上界方法不再直接适用。