百万并行环境下的探索瓶颈：Success Guided Sampling 如何让机器人 RL 真正 Scale

在大规模并行仿真已经成为机器人强化学习标配的今天，一个反直觉的事实正在浮现：把并行环境数量堆到百万级，并不自动带来等比例的收益。当策略已经在简单任务配置上“刷分”，或者根本无力应对过难配置时，均匀采样会让一个 batch 中越来越多的经验沦为无效学习信号。这正是当前 mega-scale RL for robot control 面临的核心瓶颈。

A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control

重置分布：从工程救星到新的瓶颈

过去几年，sim-to-real RL 的一个明显趋势是摆脱 per-task 的工程先验——不再依赖精心雕琢的 shaped rewards，也不再需要大量 demonstrations。取而代之的是一种更“傻瓜”的范式：用多样化的 simulator resets，配合大规模并行仿真，让策略自己在无数初始条件中摸索。

这套思路在若干 manipulation 任务上被证明有效，降低了工程负担。但论文作者指出了一个被忽视的问题：这种范式在更精密或更动态的任务上，并不能靠 naive scaling 直接奏效。

原因在于重置分布本身。Simulator resets 的确能帮助探索，但均匀地在这个分布上采样，会把越来越大的学习经验份额浪费在两类配置上——策略已经掌握的，以及策略当前根本不可能尝试的。前者不提供梯度，后者提供的是噪声。

Simulator resets（仿真器重置） 指的是每一个并行环境在每个 episode 结束后，依据某个初始条件分布重新初始化机器人状态、目标位姿、物体摆放、地形参数、摩擦系数等变量的机制。在经典 sim-to-real RL 流程里，工程师通常为每个任务手写 reward shaping，或者采集大量人类示范来引导训练；而多样化 resets 的思路是用数据驱动的方式替代这些 per-task 工程先验，让策略在无数随机初始条件中自己发现可行行为。reset 分布的设计直接决定了训练数据覆盖的状态空间：分布过窄会导致过拟合，过宽则会稀释有效学习信号。本文指出的关键恰恰是——即便 reset 分布本身足够多样，如何从中采样仍然是一个独立且被长期忽视的变量。

为什么百万环境不一定等于百万收益

在并行仿真中，每个 batch 理论上包含海量经验。但如果这些经验中大部分落在“无信息”区间，那么扩展并行环境带来的期望收益就被大幅稀释。

作者的原话很直接：这让人难以看到 scaling parallel environments 的预期好处，因为 batch 中的大量学习信号在学习过程中被浪费掉了。

这构成了一个探索瓶颈的结构性成因：不是算力不够，而是算力被分配到了策略的“舒适区”和“盲区”，而不是能力前沿。

Success Guided Sampling：把训练压在能力前沿

针对这一问题，作者提出了 Success Guided Sampling（SGS），一个简单的自适应采样器。它的核心思想一句话可以概括：把 RL 训练集中到策略能力前沿附近的任务配置上。

SGS 并不改变底层 RL 算法，也不引入复杂的结构先验，而是调整重置分布的使用方式——让采样偏向那些策略“有成功可能但尚未稳定掌握”的配置。这样一来，大规模仿真 RL 能更充分地利用一个 batch 中的经验，从而让扩展到大规模并行仿真真正变得高效。

论文的实验规模相当激进：使用了最高 (2^{20})（超过一百万）个并行环境。在这个量级下，SGS 让 RL 解决了此前方法无法攻克的挑战性任务，包括多地形 quadruped locomotion 和 contact-rich assembly。

能力前沿（competence frontier） 这一概念借鉴自课程学习（curriculum learning）与自主任务生成（如 Goal GAN、ALP-GMM 等）文献，指策略当前成功率既非接近 0、也非接近 1 的任务难度区间。成功率接近 0 的配置提供的是噪声梯度，策略无法从中获得可靠的改进方向；成功率接近 1 的配置梯度趋近于零，继续训练只是在重复已掌握的行为。两者之间的“边缘”区域——通常对应成功率大致在 20% 到 80% 之间——才是提供最大信息增益的样本来源。SGS 把这个直觉转化为一个轻量的自适应采样器，在训练过程中持续估计每个配置的当前成功率，并据此重新加权重置分布，从而把有限的 batch 预算集中到最有学习价值的区域。

从仿真到真机：RGB 策略的零样本迁移

论文的最后一步是把学到的 manipulation policies 蒸馏成基于 RGB 的策略，并在真实硬件上完成了若干挑战性装配任务的 zero-shot transfer。

这一步骤的意义在于闭环：SGS 解决的是仿真中的样本效率与探索效率问题，而蒸馏加零样本迁移则验证了这种效率提升能否转化为现实世界的可用策略。对于 sim-to-real 流水线而言，这比单纯的仿真 benchmark 数字更有说服力。

策略蒸馏（policy distillation） 通常指用一个学生策略去模仿一个或多个教师策略的行为。在 sim-to-real 语境下，教师往往是训练时使用了特权信息（privileged information）的策略，例如可直接读取物体精确位姿、接触力、地形高度图等仿真中才有的状态；学生策略则只接收真实传感器可获得的观测，如 RGB 图像。蒸馏的目标是让学生策略在观测受限的情况下仍能复现教师的行为决策。Zero-shot transfer（零样本迁移） 则指学生策略在仿真中训练完成后，不经任何真机微调或域随机化再训练，直接部署到真实硬件上执行任务。这一路径对仿真与真实之间的视觉、动力学差异非常敏感，因此能否成功往往被视为 sim-to-real 流水线成熟度的重要标志。