离线策略RL+在线推理调优：我在CoRL 2026 RoboEval挑战赛的解决方案

在机器人操作领域，如何让策略不仅完成任务，还能以安全、高效且双臂协调的方式完成，一直是核心挑战。CoRL 2026 RoboEval挑战赛设置了八项双臂任务，评分不仅看成功率，更关注每个阶段是否达到人类演示的水平。本文作者提出了一种结合离线策略强化学习与在线推理调优的方案，在官方评估中取得了接近满分的成绩。

挑战赛背景与评分机制

CoRL 2026 RoboEval挑战赛的核心在于对策略的精细化评估。八个双臂任务要求机器人在每个阶段都表现出安全、高效和协同性，评分参考人类演示，而非简单的成功/失败二元结果。这种设计迫使参赛者不仅要追求任务完成，还要优化动作的质量和协调性。作者的目标是开发一个能够适应这种多维度评分标准的通用方案。

RDS（RoboEval 评分） 是该挑战赛提出的综合评分指标，用于衡量策略在每个任务阶段的表现。与传统的成功率不同，RDS 参考人类演示，从安全性、效率和双臂协调性等多个维度对动作序列进行细粒度评估。具体而言，评分会考虑机器人是否以接近人类的方式完成子任务、是否避免了危险动作、以及双臂之间的配合是否流畅。RDS 的取值范围通常在 0 到 1 之间，1 表示达到或超越人类演示水平。因此，0.99 RDS 意味着策略在几乎所有评估维度上都接近完美。

通用方案：基于π0.5策略的离线策略RL

作者的基础方案沿用了此前LeHome挑战赛的成果：一种基于π0.5的策略，该策略同时充当价值函数。训练采用AWR（优势加权回归）和RECAP算法，直接优化官方评分中的优势值。整个训练循环中，每次rollout同时作为约20个推理参数的Thompson采样试验。这种设计将策略优化与推理调优紧密结合，使得模型在探索过程中不断调整推理参数，从而更高效地逼近最优策略。

据作者描述，该通用方案在两天内就在留出种子上达到了0.85 RDS（RoboEval评分），且远未收敛。这表明离线策略RL框架本身具有强大的潜力，能够快速提升策略性能。

AWR（优势加权回归） 是一种离线强化学习算法，其核心思想是利用优势函数对行为克隆进行加权：优势值高的动作被赋予更高权重，从而使策略更倾向于选择优于平均水平的动作。AWR 避免了显式的策略梯度估计，训练稳定且易于实现，特别适合利用历史数据（离线数据集）进行策略改进。

RECAP 在此语境下指一种递归或回放式的优势加权策略优化流程，它通过迭代地收集数据、估计优势并更新策略，使离线策略 RL 能够持续利用新产生的 rollout 数据。结合 AWR，RECAP 让策略在每一轮迭代中都能从历史经验中提取有效信号，逐步逼近最优策略。

Thompson 采样 是一种基于概率的探索策略：它从参数的后验分布中采样一组参数，并基于该采样执行动作。在本文中，每次 rollout 同时作为约 20 个推理参数的 Thompson 采样试验，意味着作者将推理时的超参数（如动作温度、采样步数等）视为随机变量，通过多次采样来平衡探索与利用。这种方法无需额外训练即可在线调整推理行为，使策略在部署时能动态适应不同场景，同时为离线策略 RL 提供多样化的 rollout 数据。

竞赛特定增强：生成演示与恢复片段

为了进一步突破局部探索的局限，作者引入了竞赛特定的数据增强：生成能够达到完整奖励的演示，以及从策略自身失败中开始的恢复片段。这些数据补充了局部探索无法覆盖的区域，帮助策略学习到更全面的行为。生成演示提供了高质量的正向示例，而恢复片段则让策略学会从失败状态中恢复，增强了鲁棒性。

最终提交的策略在留出种子上达到了0.990 RDS，在官方种子上达到了0.987 RDS。这一结果接近满分，证明了方案的有效性。

恢复片段（recovery segments） 是一种数据增强技术，其思路是从策略自身失败的状态开始，记录策略如何尝试恢复并最终完成任务的过程。与从初始状态开始的完整演示不同，恢复片段聚焦于失败后的纠正行为，能够教会策略在偏离理想轨迹时如何回到正轨。在离线策略 RL 中，这类数据尤其宝贵，因为它覆盖了局部探索难以触及的失败区域，增强了策略的鲁棒性和泛化能力。生成演示则提供高质量的正向示例，两者结合，使训练数据分布更全面地覆盖任务的状态空间。

技术细节与实现要点

整个方案的关键在于将离线策略RL与在线推理调优相结合。离线策略RL允许利用历史数据高效学习，而在线推理调优则通过Thompson采样动态调整推理参数，使策略在部署时也能适应不同场景。AWR和RECAP算法确保了优势加权的稳定性，而生成演示和恢复片段则弥补了探索的不足。作者提到，该方案在两天内就取得了显著效果，且仍有提升空间，这为后续研究提供了方向。

总结与展望

这项工作展示了离线策略强化学习在复杂机器人操作任务中的潜力，特别是结合在线推理调优和数据增强后，能够达到接近人类演示的水平。未来，可以进一步探索更高效的探索策略和更精细的评分优化，以应对更复杂的任务。对于参赛者和研究者而言，这一方案提供了可复用的框架和思路。