AI用2.5天打造JAX环境，让《Getting Over It》智能体胜率85%

从灵感 to 现实：AI 构建游戏环境的突破

在 AI 智能体训练领域，一个长期存在的难题是：如何让智能体在模拟环境中学会的技能，有效地迁移到真实游戏中？Reddit 用户最近的一项实验给出了令人瞩目的答案：借助 Opus 5.5，他成功构建了一个基于 JAX 的《Getting Over It》游戏环境，训练出的智能体在真实游戏中的胜率达到了约 85%。

这一实验的灵感来源于 u/Gold-Deal8281 的帖子，作者决定验证 Opus 5.5 是否能够生成一个与真实游戏足够对齐的 JAX 环境。整个流程耗时约 2.5 天，在 3090 GPU 上消耗了约 13 个 GPU 小时，训练步数达到 1.32B，消耗了 1B tokens。最终，智能体在真实游戏中的表现令人印象深刻。

JAX 是 Google 开发的开源高性能数值计算库，专为机器学习与科学计算设计。它结合了自动微分（Autograd）与 XLA（Accelerated Linear Algebra）编译器，能将 Python 函数即时编译为高效的 GPU/TPU 内核，同时支持 jit、vmap、pmap 等函数变换，便于实现大规模并行与向量化。在强化学习场景中，JAX 常被用来编写可批量执行的物理模拟器——整个环境状态以数组形式表示，成千上万个并行副本可在一次编译后的调用中同步推进，从而把仿真吞吐量推到每秒数万步。这正是本文中环境能达到 1600 倍实时速度的技术基础。

技术细节：Opus 5.5 如何加速环境构建

作者此前已经用类似方法处理过多个游戏，包括 Brotato、Cuphead 和 Kingdomino，并取得了不错的成果。但《Getting Over It》的物理引擎和交互逻辑更为复杂，传统上需要大量人工逆向工程才能构建出高保真的模拟环境。

这次，作者将“脏活累活”交给了 Opus 5.5。他明确要求环境需要具备足够的对齐度（parity），以便训练出的智能体能够在真实游戏中表现良好。Opus 5.5 不负众望，将模拟环境的运行速度从最初的约 6k 步/秒（约 200 倍实时速度）提升到了约 50k 步/秒（1600 倍实时速度）。这一提升使得训练效率大幅提高。

并行训练与策略蒸馏

为了进一步加速训练，作者使用了 10 个并行游戏副本。在 Opus 5.5 构建的环境基础上，训练速度达到了 1600 倍实时，这为后续的强化学习训练提供了坚实基础。经过约 11 小时的训练，作者针对多个专家策略（specialist policies）进行蒸馏，最终得到了一个表现优异的获胜策略。

对齐度（parity） 在强化学习环境构建中，指模拟器与真实目标系统在状态转移、物理规则、奖励信号和观测表示上的一致程度。若对齐度不足，智能体会利用模拟器的偏差“作弊”（即 reward hacking），学到在真实环境中无效甚至有害的策略，造成所谓的 sim-to-real gap。衡量对齐度通常需要将同一组动作序列分别输入模拟器与真实游戏，比较轨迹、碰撞结果与得分曲线。本文要求 LLM 生成的环境具备足够 parity，正是为了保证策略蒸馏后在真实《Getting Over It》中仍有约 85% 胜率，而非仅在高保真模拟器里表现良好。

策略蒸馏（policy distillation） 是一种将多个“专家”策略的知识压缩到单一学生策略中的技术。做法通常是让每个专家在各自擅长的状态分布下产生动作或动作概率，学生网络通过最小化与专家输出的 KL 散度（或交叉熵）来模仿它们，从而在不显著增加推理成本的前提下获得多专家的综合能力。本文先针对不同关卡或不同起始状态训练多个 specialist policies，再蒸馏出一个统一获胜策略，这既能提升鲁棒性，也便于在真实游戏中部署单一模型。蒸馏与并行环境结合，还可大幅缩短达到目标胜率所需的总样本量。

成果与意义：85% 胜率背后的启示

智能体在真实游戏中的胜率约为 85%，这一结果验证了模拟环境与真实游戏之间的高对齐度。对于 AI 智能体训练而言，这意味着我们可以利用大语言模型（如 Opus 5.5）快速构建高质量的模拟环境，从而大幅降低训练成本和时间。

这一方法的核心优势在于：无需手动逆向工程游戏引擎，而是依靠 LLM 生成 Fidelity 足够高的 JAX 环境。这为未来更多复杂游戏的智能体训练开辟了新路径。作者表示，他已经成功将类似方法应用于多个游戏，并期待这一方法能够推广到更广泛的领域。

逆向工程游戏引擎 指在不具备源码的情况下，通过观察游戏行为、内存数据或反汇编，推断并复现其物理与交互逻辑，以构建可用于训练的模拟器。传统流程需要人工标注碰撞体、拟合重力与摩擦参数、还原输入延迟等，耗时且易出错，对《Getting Over It》这类基于自定义物理（如角色与锤子的铰接约束）的游戏尤其困难。LLM 驱动的环境生成把这一过程转化为“描述需求—生成代码—对齐验证”的循环，把人力从手工逆向中解放出来，这也是本文方法能扩展到多款游戏的关键原因。

未来展望：LLM 驱动的环境生成

这项实验展示了 LLM 在代码生成和环境构建方面的巨大潜力。随着模型能力的提升，未来我们或许能够看到更多由 AI 自动生成的训练环境，从而加速智能体在各类任务中的学习进程。对于游戏 AI 和强化学习社区而言，这无疑是一个值得关注的方向。

注：本文基于 Reddit 用户分享的实验结果，具体实现细节和代码未在原文中提供。