[控场AI]
概念Co-Evolving Acting and Forecasting

CoPE

一种语言智能体强化学习方法,通过在成功轨迹上构造多步动作预测目标,使动作策略与预测任务在同一骨干网络上协同进化,提升样本效率且不增加推理开销。

时间轴 (近 90 天)

10月15日

研究者来自 UIUC 等机构,提出了 CoPE(Co-Evolving Acting and Forecasting)方法,通过引入多步动作目标监督形式,让策略网络在训练中同时学习行动与预测。

待验证50%
10月15日

CoPE 的核心机制是在成功的 on-policy 轨迹上,同时监督策略主干生成后续多步动作序列,以及每个动作从其前序历史进行单独预测。

待验证50%
10月15日

CoPE 在推理阶段保持一次一步的常规动作方式,不产生额外计算开销,不需要额外模型、单独预训练或集成推理。

待验证50%
10月15日

CoPE 在五个基准上进行了验证:ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld。

待验证50%
10月15日

在 ScienceWorld 上,CoPE 的样本效率相比 ECHO 提升最高 1.9 倍,相比 GRPO 提升最高 2.0 倍。

待验证50%
10月15日

CoPE 在聚合性能上超过了 GRPO 以及使用预测型辅助目标的各类 RL 基线。

待验证50%
10月15日

CoPE 的收益全部来自单一策略主干,共享骨干的时间集成足以吸收多步监督信号。

待验证50%
10月15日

样本效率与推理效率是两个独立指标,CoPE 在训练阶段节省交互,在推理阶段保持单步动作,两者均无额外开销。

待验证50%
10月15日

CoPE 将长期困扰智能体 RL 的稀疏奖励问题部分转化为密集的、无需额外标注的多步预测问题。

待验证50%

全部知识事实 (9)

来源文章