CoPE
一种语言智能体强化学习方法,通过在成功轨迹上构造多步动作预测目标,使动作策略与预测任务在同一骨干网络上协同进化,提升样本效率且不增加推理开销。
时间轴 (近 90 天)
研究者来自 UIUC 等机构,提出了 CoPE(Co-Evolving Acting and Forecasting)方法,通过引入多步动作目标监督形式,让策略网络在训练中同时学习行动与预测。
CoPE 的核心机制是在成功的 on-policy 轨迹上,同时监督策略主干生成后续多步动作序列,以及每个动作从其前序历史进行单独预测。
CoPE 在推理阶段保持一次一步的常规动作方式,不产生额外计算开销,不需要额外模型、单独预训练或集成推理。
CoPE 在五个基准上进行了验证:ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld。
在 ScienceWorld 上,CoPE 的样本效率相比 ECHO 提升最高 1.9 倍,相比 GRPO 提升最高 2.0 倍。
CoPE 在聚合性能上超过了 GRPO 以及使用预测型辅助目标的各类 RL 基线。
CoPE 的收益全部来自单一策略主干,共享骨干的时间集成足以吸收多步监督信号。
样本效率与推理效率是两个独立指标,CoPE 在训练阶段节省交互,在推理阶段保持单步动作,两者均无额外开销。
CoPE 将长期困扰智能体 RL 的稀疏奖励问题部分转化为密集的、无需额外标注的多步预测问题。
全部知识事实 (9)
研究者来自 UIUC 等机构,提出了 CoPE(Co-Evolving Acting and Forecasting)方法,通过引入多步动作目标监督形式,让策略网络在训练中同时学习行动与预测。
50%待验证CoPE 的核心机制是在成功的 on-policy 轨迹上,同时监督策略主干生成后续多步动作序列,以及每个动作从其前序历史进行单独预测。
50%待验证CoPE 在推理阶段保持一次一步的常规动作方式,不产生额外计算开销,不需要额外模型、单独预训练或集成推理。
50%待验证CoPE 在五个基准上进行了验证:ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld。
50%待验证在 ScienceWorld 上,CoPE 的样本效率相比 ECHO 提升最高 1.9 倍,相比 GRPO 提升最高 2.0 倍。
50%待验证CoPE 在聚合性能上超过了 GRPO 以及使用预测型辅助目标的各类 RL 基线。
50%待验证CoPE 的收益全部来自单一策略主干,共享骨干的时间集成足以吸收多步监督信号。
50%待验证样本效率与推理效率是两个独立指标,CoPE 在训练阶段节省交互,在推理阶段保持单步动作,两者均无额外开销。
50%待验证CoPE 将长期困扰智能体 RL 的稀疏奖励问题部分转化为密集的、无需额外标注的多步预测问题。
50%