CoDA：数据引擎与动作策略协同进化，机器人训练新范式

机器人策略训练中，生成式仿真虽能自动构建环境，但物理上合法的环境未必对训练有用。真正稀缺的，是能精准暴露策略失败模式的环境，以及帮助策略克服这些失败的有效监督。针对这一核心矛盾，研究者提出 CoDA 框架，让仿真数据引擎与动作策略通过共享的异构记忆实现协同进化。

核心机制：异构记忆驱动的双向进化

CoDA 的关键设计在于一个共享异构记忆，它同时存储三类信息：环境构建记录、策略失败案例、以及学习进展度量。视觉语言评论家（vision-language critic）对策略失败进行诊断，经校验后编译为两类程序——一类是生成程序，用于复现困难场景；另一类是训练程序，用于帮助策略克服这些困难。

这种设计让环境生成不再是随机采样，而是有的放矢地针对策略当前弱点。同时，学习进展的度量反过来指导后续生成与程序优化，形成闭环。

动作块价值学习（action-chunk value learning） 是近期机器人策略学习中的一类方法，与逐帧输出单步动作不同，它让策略一次性预测一个时间窗口内的动作序列（即 action chunk），并对此块整体估计价值。这样做有两个好处：其一是降低决策频率，缓解长序列任务中误差逐步累积的问题；其二是让监督信号作用在更有语义的"动作单元"上。CoDA 的 Text2potential 正是把势函数塑形加在这种块级价值上，使得诊断得到的分阶段监督信号能够对齐到具体的动作块，而不仅仅是单步动作，从而更高效地修正策略在困难场景下的整段行为。

视觉语言评论家（vision-language critic） 指的是以视觉语言模型（VLM）为基础的诊断模块。它同时接收画面观测和任务描述文本，对策略执行过程进行语义级评判——例如判断"抓取时物体滑落""路径规划绕远"等失败模式，而非仅输出标量奖励。相比传统仅给出数值的奖励模型，VLM 评论家能够用自然语言解释失败原因，这为后续将诊断编译为"生成程序"（复现失败场景）和"训练程序"（针对性补强）提供了可解析的中间表示。CoDA 在此基础上加入了校验环节，避免评论家的误判直接污染训练流程。

Text2potential：将诊断转化为密集监督

仅有困难环境还不够，策略需要足够密集的监督信号才能有效学习。CoDA 提出 Text2potential 方法，将评论家的诊断文本转化为分阶段的势函数（staged potentials），用于动作块价值学习（action-chunk value learning）。

在标准势函数塑形假设下，这种方法在提供密集监督的同时，保留了任务的最优策略不变——即不会因为引入塑形而扭曲原本的最优解。这一点对于策略学习的稳定性至关重要。

势函数塑形（potential-based reward shaping） 是强化学习中为缓解奖励稀疏问题而提出的框架。其核心定理指出：若额外奖励函数 F 可写成 F(s, a, s') = γΦ(s') − Φ(s) 的形式（Φ 为状态势函数，γ 为折扣因子），则引入该塑形不会改变原 MDP 的最优策略集合。CoDA 将评论家的诊断文本编译为分阶段的势函数，本质上就是在利用这一定理——把"当前状态离目标还有多远"的语义诊断编码为数值化的势能差，从而在不扭曲任务最优解的前提下给每一步动作提供梯度信号。若没有这一约束，人为设定的塑形奖励容易诱导策略钻空子（reward hacking），追求塑形旁路而非真正完成任务。

实验结果：OOD成功率大幅提升

在四个操作任务家族上的测试中，CoDA 将分布外（OOD）成功率从监督微调后的 5.3% 提升至 27.6%，在相同生成预算下，比最强的闭环基线高出 9.5 个百分点。

在 LIBERO-Pro 基准上，经过 15 轮生成与训练，位置扰动下的成功率从 25% 提升至 84%，指令扰动下更是从 1% 跃升至 76%。这一结果说明，针对性的环境生成与诊断驱动的监督，对策略鲁棒性的提升是显著的。

分析：为什么协同进化更有效

传统做法将环境生成与策略训练分离，导致生成的环境虽物理合法却与策略当前需求脱节。CoDA 的价值在于把"策略哪里失败"与"该生成什么环境"直接挂钩，并通过 Text2potential 把失败诊断转化为可用的学习信号。

这种协同进化思路，本质上是把数据引擎从"被动提供数据"转变为"主动诊断并补强策略短板"的角色。对于机器人学习这类数据稀缺、试错成本高的领域，这种范式有望减少无效环境构建，提升训练效率。