自博弈AI为何总被廉价兵种打崩？RTS开发者亲述困境

一位独立开发者正在制作一款融合RTS与MOBA的4v4游戏，其中每队由一名指挥官负责经济、建筑和军队，三名英雄负责线上对抗。为了在缺乏人类玩家的情况下测试游戏平衡，他采用了类似AlphaGo Zero的纯自博弈方案：使用PPO算法，配合联赛式自博弈训练指挥官AI。然而训练结果暴露了一个耐人寻味的现象——AI对过去的自己胜率极高，却被人类玩家用廉价的一级兵种（tier-1 units）反复击溃。

自博弈的辉煌与脆弱

据开发者在Reddit上的描述，训练出的指挥官AI在与历史版本的对抗中“压倒性获胜”，但一旦面对真人玩家，便暴露出大量漏洞。最典型的失败模式是：当人类玩家攀升到二级科技（tier 2）时，AI几乎毫无招架之力。更令开发者困惑的是，尽管他期望不同训练轮次能产生多样化的建造顺序（builds），但每次运行最终都收敛到同一种策略——大量生产廉价的一级兵种。

这并非个例。在自博弈强化学习领域，这种“策略坍塌”现象早已被记录。当AI只与自己的历史版本对战时，它可能陷入一个局部最优：一种策略足以击败过去的自己，却从未被逼迫去学习如何应对完全不同的战术风格。开发者提出的问题直指核心：这是否是自博弈的已知弱点——种群从未发现克制策略，因此也从未学会防御它？

自博弈为何会“偏科”

自博弈的核心吸引力在于无需人类数据，智能体可以从零开始通过自我对抗进化。AlphaGo Zero和AlphaStar的成功让这一范式备受推崇。但成功案例往往依赖巨大的计算资源和精心的训练设计。在小规模项目中，自博弈的缺陷会被放大。

一个关键问题是对手多样性不足。联赛式自博弈虽然保留了历史版本作为对手，但如果所有历史版本都共享相似的弱点，那么当前策略只需在某个维度上略微提升就能获胜，而无需发展出全面的攻防能力。开发者描述的“每次运行都收敛到大量一级兵”正是这种动态的体现：一级兵海战术在内部对抗中足够有效，于是种群不再探索其他可能性。

另一个因素在于奖励设计。如果奖励信号主要反映胜率，而缺乏对战术多样性的激励，AI自然会选择最直接的获胜路径。开发者在帖子中询问，AlphaStar风格的剥削者（exploiters）、多样性奖励，还是动作与奖励设计本身才是问题所在——这恰恰触及了自博弈训练的三个关键杠杆。

PPO（近端策略优化） 是当前强化学习中最常用的策略梯度算法之一。它通过限制每次策略更新的幅度（用裁剪的替代目标函数实现），避免策略在单次更新中发生剧烈变化，从而在样本效率和训练稳定性之间取得平衡。在自博弈场景中，PPO 常被用来训练智能体对抗不断更新的对手池。然而，PPO 本身并不内含探索多样性的机制——它优化的是给定奖励下的期望回报。因此，当奖励信号单一（如仅以胜率计）时，PPO 会自然地收敛到当前对手池中最有效的策略，而不会主动探索其他战术分支。这正是开发者观察到“每次运行都收敛到同一种建造顺序”的算法层面原因之一：不是 PPO 有缺陷，而是它忠实地执行了奖励所定义的目标。

动作掩码（action masks） 是强化学习中处理非法动作的常用技术。在游戏环境中，并非所有动作在任何时刻都合法（例如资源不足时无法建造、冷却未结束时无法施放技能）。动作掩码会在策略网络输出动作概率时，将非法动作的概率置零并重新归一化，确保智能体只从合法动作中采样。这一机制能显著加速训练，避免智能体浪费探索在无效动作上。但它也可能引入隐性偏好：如果掩码逻辑或动作空间的排序无意中使某些合法动作在早期更易被采样（例如廉价单位总是可建造，而高级单位需要满足前置条件），智能体可能形成路径依赖，长期偏向那些“总是可用”的动作。开发者的指挥官 AI 拥有 23 条命令并使用动作掩码，因此需要检查掩码设计是否在无意中降低了一级兵生产之外动作的早期出现概率。

剥削者与多样性：哪些手段真正有效

在AlphaStar的项目中，DeepMind团队引入了“剥削者”（exploiters）机制：除了主智能体外，还训练专门的智能体去寻找主智能体的弱点。这些剥削者充当“陪练”，迫使主智能体修补漏洞。对于小规模项目，这一思路的简化版可能值得尝试：定期训练一个专门针对当前策略的对手，将其加入联赛。

多样性奖励是另一条路径。通过奖励策略与历史策略的行为差异（例如建造顺序的多样性、单位构成的熵），可以鼓励种群探索不同的战术空间。但多样性奖励的设计需要谨慎，否则可能奖励与获胜无关的行为。

开发者的动作与奖励设计同样值得审视。指挥官AI拥有23条命令，观察空间包含战争迷雾，动作掩码（action masks）用于屏蔽非法动作。如果动作空间或奖励函数无意中偏好了一级兵生产，那么策略坍塌可能源于设计而非算法。

AlphaStar 的联赛式自博弈是 DeepMind 为《星际争霸 II》设计的训练框架，其核心创新在于维护一个包含主智能体、历史版本和剥削者的对手池。主智能体（main agents）通过对抗整个联赛来学习；历史版本（past players）提供稳定性锚点，防止策略遗忘；剥削者（exploiters）则专门针对主智能体的当前弱点进行训练，并定期将发现的漏洞反馈给主智能体。此外，AlphaStar 还使用了“优先虚构自博弈”（PFSP）来采样对手，优先选择对当前智能体胜率接近 50% 的对手，以最大化学习信号。这一整套设计的关键在于：它人为地制造了对手多样性，并主动搜索策略空间中的薄弱区域。对于小规模项目，完全复现这一框架不现实，但“定期训练一个针对当前策略的剥削者并加入联赛”是可以在单机资源下实现的简化版。

开放Bot Kit：让小规模自博弈可复现

为了与社区共同探索解决方案，这位开发者将指挥官席位做成了一个开放的机器人工具包（bot kit），并计划组织一个小型AI联赛。据其GitHub仓库介绍，该工具包包含：本地练习服务器，以约100倍实时速度运行真实比赛规则，无需游戏客户端；仅使用Python标准库的Python库；带有动作掩码的Gymnasium风格环境，以及Stable-Baselines3的MaskablePPO示例；规则机器人和学习策略对手供测试。机器人获得与人类指挥官相同的23条命令和相同的战争迷雾视野，README列出了所有观察和动作。

这一举措降低了社区参与门槛，也为对比不同方法提供了基准。开发者表示，如果缺少某个观察，可以通过issue或Discord提出，他会补充。这种开放态度在自博弈研究中尤为可贵——许多失败案例因缺乏可复现环境而无法被深入分析。

小规模自博弈的可行路径

对于资源有限的开发者，完全复现AlphaStar级别的训练并不现实。但帖子中的经验提示了几条务实方向。首先是诊断优先于调参：在引入复杂机制前，先分析AI的失败对局，确认策略坍塌是源于对手多样性不足、奖励信号偏差，还是动作空间限制。其次是引入外部压力：即使没有人类数据，规则机器人或脚本化对手也可以作为固定陪练，提供不同于历史版本的挑战。最后是联赛设计的迭代：不仅保留历史版本，还可以对历史版本进行“加噪”或“削弱”，迫使当前策略适应不同条件。

自博弈并非银弹，但它在小规模项目中的潜力依然值得挖掘。这位开发者的经历提醒我们，AlphaGo Zero式的成功背后是海量的计算与精心的课程设计。对于独立开发者，理解自博弈的失效模式，或许比盲目追求“纯自博弈”更有价值。

更多技术细节和回放可在开发者的Reddit帖子和GitHub仓库中查看。