CartPole
强化学习经典控制任务，目标是平衡一根杆子使其不倒，状态空间极简、步数短，复杂度极低
时间轴 (近 90 天)
CartPole是OpenAI Gym中最经典的强化学习入门环境，状态4维、动作2个，通常几百行代码、几十秒即可训练出稳定策略。
在 De Oliveira 等人的对照实验中，除 CartPole 之外，PPO 在所有任务上都胜出；GRPO 的组加权机制相比朴素 batch mean 并没有带来更好的表现。
五个经典控制任务通常指 CartPole、Acrobot、MountainCar、Pendulum 等，共同特征是状态连续变化、奖励每步或近似稀疏、对策略时序精细度要求远高于 LLM 生成。
PPO 在 CartPole 上可能不占优，因为 CartPole 状态维度低、episode 短、任务难度极低，critic 带来的额外开销和估计误差可能拖累表现，因此 CartPole 是例外但不具代表性。
将VQC应用于CartPole、FrozenLake等经典RL基准环境已有多篇论文可供复现和对比
CartPole问题最早可追溯到1960年代的控制理论研究，是验证控制算法稳定性的经典测试平台
CartPole是验证RL算法正确性的首选环境，若DQN实现无法在CartPole上收敛则在更复杂环境上基本没有希望
CartPole最早由Barto、Sutton和Anderson在1983年提出，作为自适应控制的基准问题
全部知识事实 (8)
CartPole是OpenAI Gym中最经典的强化学习入门环境，状态4维、动作2个，通常几百行代码、几十秒即可训练出稳定策略。
50%待验证在 De Oliveira 等人的对照实验中，除 CartPole 之外，PPO 在所有任务上都胜出；GRPO 的组加权机制相比朴素 batch mean 并没有带来更好的表现。
50%待验证五个经典控制任务通常指 CartPole、Acrobot、MountainCar、Pendulum 等，共同特征是状态连续变化、奖励每步或近似稀疏、对策略时序精细度要求远高于 LLM 生成。
50%待验证PPO 在 CartPole 上可能不占优，因为 CartPole 状态维度低、episode 短、任务难度极低，critic 带来的额外开销和估计误差可能拖累表现，因此 CartPole 是例外但不具代表性。
50%待验证将VQC应用于CartPole、FrozenLake等经典RL基准环境已有多篇论文可供复现和对比
50%待验证CartPole问题最早可追溯到1960年代的控制理论研究，是验证控制算法稳定性的经典测试平台
50%待验证CartPole是验证RL算法正确性的首选环境，若DQN实现无法在CartPole上收敛则在更复杂环境上基本没有希望
50%待验证CartPole最早由Barto、Sutton和Anderson在1983年提出，作为自适应控制的基准问题
50%