GraftOOD
GraftOOD是一种针对视频生成模型强化学习微调的方法,通过将分布外高质量视频示例嫁接进在线强化学习流程,解决奖励优化中的"运动崩塌"问题,采用共享速度回归目标统一组相对奖励校正与序列级示例监督两类信号。
时间轴 (近 90 天)
GraftOOD研究揭示视频生成奖励优化中,模型追逐代理奖励时视频动态性会被削弱,这一现象被命名为'运动崩塌'(motion collapse)
即便引入视频级别的运动质量奖励,运动崩塌现象依然会发生
GraftOOD的做法是在部分选定的prompt分组中,用分布外(OOD)视频示例替换掉一部分在线采样的结果
GraftOOD采用共享的速度回归(velocity-regression)目标函数,结合组相对奖励校正和序列级示例监督两类监督信号
GraftOOD方法不需要为示例生成额外的轨迹,也不需要引入额外的监督损失系数来平衡两类损失
研究在Wan2.1-1.3B模型上进行验证
相较于基线方法FlowAWR,GraftOOD使动态程度(Dynamic Degree)从4.86跃升至44.41,提升近9倍
GraftOOD使HPSv3从8.10小幅下降至7.32,VisionReward基本保持不变
在主要实验设置下,GraftOOD在三种示例增强方法的横向对比中,于十项指标中有九项领先
消融实验显示增加示例使用量并不会带来一致收益,而是呈现动态性与奖励之间的权衡关系
还有 2 条时间轴事件
全部知识事实 (12)
GraftOOD研究揭示视频生成奖励优化中,模型追逐代理奖励时视频动态性会被削弱,这一现象被命名为'运动崩塌'(motion collapse)
50%待验证即便引入视频级别的运动质量奖励,运动崩塌现象依然会发生
50%待验证GraftOOD的做法是在部分选定的prompt分组中,用分布外(OOD)视频示例替换掉一部分在线采样的结果
50%待验证GraftOOD采用共享的速度回归(velocity-regression)目标函数,结合组相对奖励校正和序列级示例监督两类监督信号
50%待验证GraftOOD方法不需要为示例生成额外的轨迹,也不需要引入额外的监督损失系数来平衡两类损失
50%待验证研究在Wan2.1-1.3B模型上进行验证
50%待验证相较于基线方法FlowAWR,GraftOOD使动态程度(Dynamic Degree)从4.86跃升至44.41,提升近9倍
50%待验证GraftOOD使HPSv3从8.10小幅下降至7.32,VisionReward基本保持不变
50%待验证在主要实验设置下,GraftOOD在三种示例增强方法的横向对比中,于十项指标中有九项领先
50%待验证消融实验显示增加示例使用量并不会带来一致收益,而是呈现动态性与奖励之间的权衡关系
50%待验证GraftOOD论文指出外部示例监督应作为标量奖励反馈的补充,而非替代
50%待验证论文强调不应简单将'更高的测量动态性'等同于'连贯、视觉上合理的运动'
50%