Gymnasium
开源强化学习环境接口库,提供标准化的游戏及仿真环境API,使全球研究者能在统一基准上横向比较算法性能,是强化学习研究的重要基础设施
核心事实
时间轴 (近 90 天)
研究者在Feynman数据集(物理公式回归任务)和Gymnasium强化学习基准两类基准上进行了计算实验
MuJoCo 已成为 OpenAI Gym / Gymnasium 生态的核心仿真后端之一
该环境遵循 Gymnasium API 标准,观测空间是 13,977 维的浮点向量,并纳入了对手已出牌的历史记录
gym-pybullet-drones 提供原生Gymnasium接口,可直接兼容Stable-Baselines3、RLlib等主流RL库
对Bot友好的强化学习环境通常遵循类似OpenAI Gym/Gymnasium的标准接口规范,提供observation、action、reward以及step/reset等标准方法
MuJoCo是OpenAI Gym/Gymnasium中经典控制任务的默认物理后端
Gym/Gymnasium为强化学习环境定义了统一的交互接口reset()、step()、render(),但标准化止步于环境交互API,未覆盖训练循环管理、实验配置等上层工程流程
OpenAI在2016年推出了Gym,现已演化为由Farama基金会维护的Gymnasium
Gymnasium将原版Gym中的done信号明确拆分为terminated(任务自然结束)和truncated(因时间限制截断)
2022年OpenAI将Gym的维护工作移交给Farama基金会,并更名为Gymnasium
还有 11 条时间轴事件
全部知识事实 (20)
Gymnasium由Farama基金会维护,接替了OpenAI Gym,定义了环境接口标准
70%待验证研究者在Feynman数据集(物理公式回归任务)和Gymnasium强化学习基准两类基准上进行了计算实验
50%待验证MuJoCo 已成为 OpenAI Gym / Gymnasium 生态的核心仿真后端之一
50%待验证该环境遵循 Gymnasium API 标准,观测空间是 13,977 维的浮点向量,并纳入了对手已出牌的历史记录
50%待验证gym-pybullet-drones 提供原生Gymnasium接口,可直接兼容Stable-Baselines3、RLlib等主流RL库
50%待验证对Bot友好的强化学习环境通常遵循类似OpenAI Gym/Gymnasium的标准接口规范,提供observation、action、reward以及step/reset等标准方法
50%待验证MuJoCo是OpenAI Gym/Gymnasium中经典控制任务的默认物理后端
50%待验证OpenAI在2016年推出了Gym,现已演化为由Farama基金会维护的Gymnasium
50%待验证Gym/Gymnasium为强化学习环境定义了统一的交互接口reset()、step()、render(),但标准化止步于环境交互API,未覆盖训练循环管理、实验配置等上层工程流程
50%待验证Gymnasium将原版Gym中的done信号明确拆分为terminated(任务自然结束)和truncated(因时间限制截断)
50%待验证2022年OpenAI将Gym的维护工作移交给Farama基金会,并更名为Gymnasium
50%待验证Gymnasium提供统一的环境接口(reset、step、render),覆盖CartPole、MountainCar、Atari游戏、MuJoCo物理仿真等环境
50%待验证作者为《雨世界》环境添加了Gymnasium封装,使其可直接使用Stable-Baselines3中的算法
50%待验证Gym/Gymnasium 环境接口的核心设计是任何环境只需实现 reset() 和 step() 两个方法即可与算法库对接
50%待验证在 Apple M1 Max 上,reinfors 单线程步进速度约为 Gymnasium 的 20 倍(3,850 vs 195 步/秒)
50%待验证reinfors 直接输出 CHW 格式的观测数据(PyTorch卷积层期望格式),可通过 np.transpose(obs, (2, 0, 1)) 转换到标准 Gymnasium 的 HWC 格式
50%待验证Gymnasium的AsyncVectorEnv基于Python的multiprocessing模块实现并行,每个子环境运行在独立进程中
50%待验证在 AMD EPYC EC2 实例上,reinfors 单线程步进速度约为 Gymnasium 的 14 倍(2,069 vs 148 步/秒)
50%待验证Gymnasium是OpenAI Gym的社区维护后继版本,已成为强化学习环境的事实标准接口
50%待验证Gymnasium的step(action)方法接收动作后返回五元组(observation, reward, terminated, truncated, info)
50%