[控场AI]
· 5 分钟阅读· 2,556 字

Ataraxos突破:AI首次在军棋Stratego达到超人类水平

Ataraxos突破:AI首次在军棋Stratego达到超人类水平

AI系统Ataraxos据报道首次在大规模隐藏信息游戏Stratego上达到超人类水平,且算力消耗大幅低于以往方案。

长期抵御AI攻克的桌面战争游戏Stratego,因其大规模隐藏信息而成为强化学习领域的顽固难题。名为Ataraxos的新研究据报道打破了这一僵局,成为该游戏历史上首个超人类AI,击败了史上荣誉最多的人类职业选手。更引人注目的是,它所消耗的算力和数据比此前尝试少了数个数量级。其核心技术——针对隐藏信息场景的自我博弈强化学习与测试时搜索——被证明具有较强普适性,同一套方法在Barrage Stratego、合作博弈Hanabi以及中国扑克游戏斗地主中均达到超人类或业界领先水平,横跨对抗、合作与团队三类博弈结构。研究者认为这代表了处理隐藏信息问题的通用设计范式,对拍卖、金融交易、安全对抗等现实决策场景具有潜在迁移价值。目前成果仍处于待同行评审阶段,具体实验细节有待公开确认。

隐藏信息:强化学习的最后堡垒

现实世界的决策几乎都伴随着隐藏信息——某一方掌握而另一方未知的信息。扑克里的底牌、谈判中的底价、商战中的策略储备,都属于这一范畴。对AI而言,这类问题远比围棋、国际象棋这类完全信息博弈棘手得多。

在围棋被AlphaGo攻克多年之后,一款名为军棋(Stratego)的桌面战争游戏却长期顶住了AI的进攻。原因很简单:Stratego的隐藏信息规模极为庞大。双方棋子的身份在开局时完全不可见,玩家必须通过试探、推理和心理博弈来逐步揭开迷雾。正是这种大规模隐藏信息,让传统的强化学习与搜索方法集体失效。即便是耗资数百万美元的工业级研究,也始终未能在Stratego上达到顶尖人类水准。

现在,一项名为Ataraxos的研究宣称打破了这一僵局——据报道,它成为Stratego历史上首个达到超人类水平的AI。

Ataraxos做了什么

根据这篇在Reddit机器学习社区引发讨论的研究,Ataraxos基于一套通用技术构建,核心是针对隐藏信息场景设计的自我博弈强化学习(self-play RL)与测试时搜索(test-time search)。

最引人注目的成绩是:Ataraxos以较大优势击败了史上荣誉最多的人类Stratego职业选手。研究者称这是该游戏历史上首个超人类结果。更关键的是实现方式——它消耗的算力和数据比以往的尝试少了数个数量级。

这一点值得特别强调。过去的隐藏信息博弈突破往往伴随着惊人的计算成本,而Ataraxos反其道而行,在大幅降低资源门槛的同时取得了更好的效果。对于一个长期被认为需要海量算力才能攻克的难题,这种高样本效率本身就是一项重要进展。

自我博弈强化学习(self-play RL)是指AI通过与自身的历史版本或克隆版本反复对局来积累经验,无需依赖人类对局数据。AlphaGo Zero将这一方法发扬光大,从零开始仅凭自我对弈就超越了人类顶尖棋手。然而,自我博弈在完全信息博弈中运转良好,在隐藏信息场景中却面临根本性挑战:AI在训练时可能"偷看"到本不应知道的信息,导致学到的策略在真实对局中无法复现;此外,如何构建一个能够表达"我不确定对手棋子是什么"的内部表示,本身就是技术难点。测试时搜索(test-time search)则是指在实际对局推理阶段,AI不是直接输出策略,而是在当前局面下即时运行一段搜索过程(如蒙特卡洛树搜索)来寻找更优行动。在隐藏信息场景中,搜索必须同时遍历多种对手状态的可能性,搜索空间呈指数级膨胀。Ataraxos据称在这两个环节都做出了针对性改进,从而将计算代价压缩到了以往方案的极小分之一。

不止于军棋:一套可迁移的设计范式

Ataraxos的真正价值,可能不在于它赢下了Stratego这一款游戏,而在于背后方法的普适性。研究团队用同一套技术,在多个性质迥异的博弈中都取得了亮眼成绩:

  • Barrage Stratego:同样达到了超人类水平;
  • Hanabi(花火):一款强调合作与有限沟通的卡牌游戏,取得了业界领先(state-of-the-art)成绩;
  • 斗地主(dou dizhu):一款典型的团队对抗与隐藏信息并存的中国扑克游戏,同样达到SOTA。

这组游戏的覆盖面相当讲究。Stratego是对抗性博弈,Hanabi是纯合作博弈,斗地主则介于两者之间——涉及团队协作与对抗的混合结构。能用同一套方法横跨对抗、合作与团队三类场景,说明研究者抓住的是隐藏信息处理的某种共性机制,而非针对单一游戏的特化技巧。

研究者将此总结为一种适用于大规模隐藏信息的强化学习与搜索设计范式,并称这是战略决策领域长期以来追求的目标之一。

为什么这件事重要

完全信息博弈的攻克,更多是一种象征性的里程碑;而隐藏信息博弈的突破,离现实应用要近得多。拍卖、金融交易、安全对抗、多方谈判、物流调度——这些现实决策问题的共同特征,恰恰就是信息的不对称和不完整。

传统方法在隐藏信息面前失效,核心难点在于:当你无法确知对手的真实状态时,就必须在一个由各种可能性构成的庞大信念空间(belief space)中进行推理和搜索,计算量会急剧膨胀。Ataraxos能在显著更低的成本下处理这种复杂度,意味着这类技术距离工程落地又近了一步。

如果其方法确实具备论文所述的通用性和效率,那么它提供的不只是一个游戏AI,而是一个可复用的方法论框架,为后续研究者处理隐藏信息问题提供了明确的技术路径。

信念空间(belief space)是隐藏信息博弈研究的核心概念。在完全信息博弈中,AI只需对当前可见的棋盘状态进行推理;而在隐藏信息博弈中,AI必须同时维护一个关于所有未知信息的概率分布——即"信念",并在对局推进过程中不断更新这一分布。以Stratego为例,开局时对手40枚棋子的身份排列理论上有天文数字量级的可能组合,AI需要在这个庞大的概率空间中进行有效搜索。这类问题在博弈论中被正式定义为不完全信息扩展式博弈(Extensive-Form Game with Imperfect Information),其理论均衡解法(如CFR,反事实遗憾最小化)虽有成熟理论基础,但在Stratego规模下的计算开销使其几乎不可实际部署。Ataraxos的价值之一,正在于探索了一条绕开暴力枚举信念空间的实用路径。

保持审慎:这仍是待验证的报道

说一下,当前信息来源主要是研究摘要层面的描述,使用了"reportedly(据报道)"的措辞。诸如"击败史上最具荣誉的人类选手""算力数据减少数个数量级"等具体表述,仍有待完整论文、实验细节和同行评审的进一步确认。

在AI博弈研究中,"超人类"的定义、对局样本量、对手水平的客观评估都会直接影响结论的分量。因此,在更多细节公开之前,更稳妥的态度是:对这一成果保持乐观关注,但不急于下定论。

无论最终细节如何,Ataraxos所指向的方向——在大规模隐藏信息下实现高效的强化学习与搜索——都是战略决策AI最值得期待的前沿之一。

#Ataraxos#强化学习#Stratego军棋#隐藏信息博弈#超人类AI#自我博弈#测试时搜索#AI博弈
分享:

相关推荐