用回放重塑奖励信号：破解长时程策略游戏AI的记分板陷阱

训练语言模型智能体玩长时程策略游戏，一直是个棘手的难题：确定性反馈稀疏，往往要等到整局游戏结束才出现。游戏内的实时分数看似能提供密集信号，却未必指向最终胜利——在八款策略游戏中，高达8%至68%的位置对里，分数更高的局面反而导向更差的结局。研究者将这种现象称为「记分板陷阱」（scoreboard traps）。

记分板陷阱：当高分等于坏结局

在《Freeciv》这类开源回合制帝国建造游戏中，玩家需要管理单位、城市与外交，一局往往长达数百回合。这类环境天然适合检验长时程决策能力，但也把奖励设计的矛盾暴露得更彻底：若用实时分数当奖励，智能体可能学会「刷分」而非「赢局」。

论文给出的量化证据颇具说服力——在八款策略游戏的测试中，高分配置相当比例上并非最优路径。这意味着，把记分板直接当作学习信号，会让智能体朝着错误方向优化。

《Freeciv》是 Civilization 系列的开源衍生产品，采用回合制 4X 玩法（探索 eXplore、扩张 eXpand、开发 eXploit、征服 eXterminate）。玩家从单个定居点起步，通过城市生产、科技研究、外交与战争扩张势力，胜利条件包括征服所有对手、率先完成太空船抵达半人马座阿尔法星等。一局标准对局通常涉及数百个回合，每回合需要操作的单位与城市数量随版图扩大而增长，决策空间极大且延迟回报明显。正因如此，Freeciv 常被用作长时程规划与多智能体博弈的测试床；其开源特性也便于研究者修改规则、接入接口与复现实验。

CivHarness：让游戏可以「读档重来」

为获得可靠的长期反馈，作者构建了 CivHarness ——一个开放系统，能够保存当前游戏状态、在不同决策处分支，并回放至未来回合，从而从存档位置得到可测量的长时程反馈。

它的价值在于把「事后诸葛亮」变成了训练资源：与其等待一局终了才知道对错，不如主动分支、回放，用未来结果反过来评估当前决策。这种基于回放的信号，比实时分数更贴近真实胜负。

CivTelescope：预测哪个局面会赢

借助 CivHarness，研究者训练了 CivTelescope——一个 LLM Judge，用于判断两个游戏局面中哪一个会带来更好的最终结果。

在记分板陷阱对上，CivTelescope 的准确率是现成语言模型的 1.3 至 2.0 倍，并且能泛化到新的开局、更晚的回合以及未见过的规则。这说明模型学到的不是死记硬背，而是对局面长期价值的某种理解。

LLM Judge（大语言模型评审）指用预训练语言模型对候选方案、局面或生成内容进行成对比较或打分，而非直接输出动作。常见做法是给模型呈现两个选项并询问哪一个更优，从而把开放式评价转化为二分类判断。相比人工标注，LLM Judge 成本低、可批量调用；但它也可能受位置偏好、措辞敏感等偏差影响，因此需要与真实结果做校准。CivTelescope 正是这一范式在游戏局面评估上的实例：它不直接玩局，而是比较两个状态未来走向胜利的概率，输出可作为奖励模型的训练信号。

CivMarshmallow：把预测器变成密集奖励

有了可靠的判官，下一步是把它当作密集奖励来训练 gameplay agent，这套配方被命名为 CivMarshmallow。

在记分板陷阱频发的中盘阶段，CivMarshmallow 取得了平均 8.94 分的训练阶段增益，比最佳基线（终局奖励）高出 77%。而在完整的 120 回合对局中，它采用混合奖励：开局依赖记分板或终局奖励，随游戏推进逐步切换到 CivTelescope。在对比的各类奖励中，这种混合奖励得分最高。

为什么混合奖励更合理

早期局面信息量少，终局信号虽可靠但太稀疏；中期陷阱多，需要判官提供密集指引；后期胜负渐明，再回归真实结果。这种「先粗后细」的调度，恰好匹配了长时程决策中信息逐步展开的节奏。

稀疏奖励与密集奖励是强化学习中的一对基本权衡。稀疏奖励只在回合终止时给出（如最终胜负），信号可靠但信用分配困难，智能体很难知道哪一步导致了胜利；密集奖励则在每一步或每个中间状态给出反馈，学习更快，但若代理指标与真实目标不一致，就会诱发奖励黑客（reward hacking）——智能体优化指标而非目标本身。记分板陷阱本质上是密集奖励失真的典型案例。混合奖励的思路是分阶段调度：在信息不足时容忍稀疏，在陷阱高发区引入经校准的密集信号，在结局临近时回归真实反馈，以此平衡学习效率与信号可信度。

对长时程智能体训练的启示

这项工作的核心贡献不只是某个模型，而是一种方法论：当环境提供的内置信号不可靠时，用可回放的模拟来构造更可信的奖励。

对做游戏 AI 或多步决策的团队来说，CivHarness 式的分支回放基础设施值得借鉴——它把评估从「看分数」升级为「看未来」。而记分板陷阱的存在提醒我们：任何代理指标都需要用真实结果做校准，否则优化越努力，偏离越远。