EWM
解释性世界模型(EWM)是一种用于强化学习信用分配的归因框架,通过利用语言模型生成因果解释来识别对最终结果有贡献的早期动作,采用保守的分层算子递归重新分配奖励,同时保持整体回报不变
时间轴 (近 90 天)
解释性世界模型(EWM)是一个归因框架,核心思路是利用解释来识别可能对最终结果有贡献的早期事件
研究团队用前沿语言模型来实例化EWM,将语言模型生成的解释直接作为学习信号
EWM的保守分层算子递归地将信用从结果时刻回溯分配给相关早期动作,同时保持整个回合的无折扣累计回报不变
EWM操作化了三种互补的解释变体:实际因果、解释的简洁性、难以变动的解释
在Crafter与WordCraft两个长周期RL基准上,EWM显著优于PPO和LaRe两种基线方法
当奖励延迟最严重时,EWM取得的性能提升最大
在公开序列推荐基准KuaiRand上,EWM在离线场景超越SFT和LaRe,在线场景优于A2C算法
在工业级生成式推荐系统的离线评估中,EWM大幅提升了召回率并改善了多项行为代理指标
LaRe是与EWM最直接可比的基线方法,同样借助语言模型辅助奖励塑形,但采用直接的奖励重标记策略而非保守分层算子
全部知识事实 (9)
解释性世界模型(EWM)是一个归因框架,核心思路是利用解释来识别可能对最终结果有贡献的早期事件
50%待验证研究团队用前沿语言模型来实例化EWM,将语言模型生成的解释直接作为学习信号
50%待验证EWM的保守分层算子递归地将信用从结果时刻回溯分配给相关早期动作,同时保持整个回合的无折扣累计回报不变
50%待验证EWM操作化了三种互补的解释变体:实际因果、解释的简洁性、难以变动的解释
50%待验证在Crafter与WordCraft两个长周期RL基准上,EWM显著优于PPO和LaRe两种基线方法
50%待验证当奖励延迟最严重时,EWM取得的性能提升最大
50%待验证在公开序列推荐基准KuaiRand上,EWM在离线场景超越SFT和LaRe,在线场景优于A2C算法
50%待验证在工业级生成式推荐系统的离线评估中,EWM大幅提升了召回率并改善了多项行为代理指标
50%待验证LaRe是与EWM最直接可比的基线方法,同样借助语言模型辅助奖励塑形,但采用直接的奖励重标记策略而非保守分层算子
50%