Reddit 热议：用强化学习打造超越人类的《杀戮尖塔2》AI 导师

在游戏 AI 领域，国际象棋、围棋和 Dota 2 等游戏已被神经网络攻克，但卡牌构筑类 Roguelike 游戏始终是块难啃的硬骨头。最近 Reddit 上的一则帖子引发了强化学习（RL）爱好者的讨论：一位用户发起项目 OstyAI，目标是构建一个“超人类”的《杀戮尖塔 2》（Slay the Spire 2，简称 STS2）AI 导师，帮助玩家理解这款对神经网络极不友好的游戏。

为什么《杀戮尖塔 2》对神经网络如此困难？

与棋类游戏完美的信息博弈不同，卡牌构筑游戏充满了不完全信息和随机性。玩家无法预知下一个房间的敌人、掉落的卡牌或遗物，这要求 AI 具备在不确定性下进行长期规划的能力。

此外，STS2 的动作空间极其庞大：每一回合，玩家需要从手牌中选择打出哪张牌、使用哪个药水、甚至决定是否结束回合。随着卡组和遗物的增多，状态空间呈指数级增长。帖子作者指出，这款游戏似乎“特别难以让神经网络学习到与人类相当的水平”，这正是研究价值所在——它可能推动 RL 在复杂决策场景下的边界。

不完全信息博弈是博弈论与强化学习中的核心分类。与围棋、国际象棋这类双方可见全部局面的“完美信息”游戏不同，不完全信息游戏中玩家只能观察到部分状态，例如卡牌游戏里对手的手牌、牌堆顶的未知卡牌。经典解法包括将信念分布纳入状态表示（如将“未知牌的概率分布”作为输入特征），或使用反事实遗憾最小化（CFR）等专门算法。深度强化学习处理这类问题时，通常需要循环神经网络或Transformer来维护对隐藏信息的信念状态，这显著增加了建模难度。

OstyAI 项目的核心思路

发起者将 OstyAI 定位为“超人类 STS2 教师”，这意味着 AI 不仅要能通关，还要能解释决策，帮助人类玩家提升水平。这种“导师型 AI”的思路，与传统的“击败人类”目标形成对比，更强调可解释性和教学价值。

帖子呼吁所有对 RL 感兴趣、玩 STS2 或想研究高难度游戏 AI 的爱好者加入。虽然目前项目细节有限，但从标题和内容看，发起者希望借助社区力量，共同探索如何将 RL 技术（如深度 Q 网络、策略梯度方法或蒙特卡洛树搜索）应用于这款游戏。

蒙特卡洛树搜索（MCTS） 是一种基于随机模拟的决策规划算法，曾在AlphaGo中与神经网络结合大放异彩。其基本思想是从当前状态出发，通过反复“选择—扩展—模拟—回溯”构建搜索树，用统计胜率指导行动选择。在《杀戮尖塔2》这类游戏中，MCTS面临两大挑战：一是随机事件（抽牌、敌人意图）使树的分支因子极大，二是单次模拟需要完整模拟整场战斗，计算成本高昂。因此实际应用中往往需要结合策略网络进行先验引导，或采用确定性化（determinization）技巧对随机性采样近似。

社区反应与研究意义

据 Reddit 帖子下的讨论氛围，不少玩家对“AI 导师”概念表达了兴趣。有评论认为，如果 AI 能解释为什么某张牌在当前局面下是最优解，将极大帮助新手理解游戏机制。也有研究者指出，STS2 的随机性让奖励信号变得稀疏，训练难度远高于确定性游戏，可能需要结合模仿学习或课程学习来加速收敛。

从更广的视角看，游戏 AI 一直是通用人工智能的试验场。《杀戮尖塔 2》的复杂决策空间，可能成为检验 RL 算法鲁棒性的新基准。如果 OstyAI 项目能取得进展，其方法或许能迁移到现实世界的不完全信息决策场景，如金融投资或医疗诊断。

奖励稀疏是强化学习中的典型难题：智能体在大部分时间步上获得零奖励，只有在游戏通关或死亡时才得到信号，导致信用分配极其困难。在《杀戮尖塔2》中，一局游戏可能持续数百个决策步，而胜负信号仅在终局出现。常见缓解手段包括：设计稠密奖励（如按层数、血量变化给予中间奖励）、使用模仿学习从人类对局中预训练策略、采用课程学习从简单难度逐步提升，以及利用事后经验回放（HER）重新标注失败轨迹中的有效片段。这些方法在稀疏奖励场景下常被组合使用。

如何参与或关注

对于想加入的开发者，建议从熟悉游戏机制入手，并参考已有《杀戮尖塔》AI 的开源实现（如使用 Python 和 PyTorch 搭建环境）。帖子本身是一个号召，参与者可以主动联系发起者，贡献游戏环境封装、算法设计或评估指标。

尽管目前 OstyAI 仍处于早期阶段，但它提出的问题——如何让神经网络在卡牌构筑游戏中达到人类水平——值得每一位 RL 爱好者思考。