GraftOOD：破解视频奖励优化中的"运动崩塌"难题

什么是视频生成中的"运动崩塌"

在视频生成模型的强化学习微调过程中，研究者普遍采用奖励优化（reward optimization）来提升生成质量。然而，GraftOOD 这项研究揭示了一个被长期忽视的问题：当模型一味追逐代理奖励（proxy reward）的提升时，视频的动态性反而会被削弱。研究团队将这一现象命名为"运动崩塌"（motion collapse）。

更值得警惕的是，即便引入了视频级别的运动质量奖励（video-level motion-quality reward），这种崩塌依然会发生。这意味着单纯依靠标量奖励信号来引导视频生成，存在一种内在的失配——模型学会了讨好奖励函数，却牺牲了视频本应具备的运动连贯性与真实感。

奖励优化（reward optimization）在视频生成领域通常借鉴自大语言模型的 RLHF 范式：训练一个代理奖励模型来评估生成质量，再以此奖励信号驱动生成模型更新。代理奖励（proxy reward）本质上是对真实人类偏好的近似估计，这种近似性天然带来"奖励欺骗"（reward hacking）风险——模型可能学会最大化奖励分数，却并未真正提升感知质量。在视频场景下，这一风险尤为突出：相比静态图像，运动的时序连贯性难以被单一标量分数充分捕捉。"运动崩塌"正是这一失配的典型表现，指模型倾向于生成低动态甚至近乎静止的画面，因为静态视频在感知奖励模型看来往往"更稳定、更清晰"，反而能获得更高评分。

GraftOOD 的核心思路：嫁接"分布外"样本

GraftOOD 的命名来自"Grafting"（嫁接）这一动作。它的做法是：在部分选定的 prompt 分组中，用分布外（out-of-distribution, OOD）的视频示例替换掉一部分在线采样（online rollouts）的结果。

这种设计的巧妙之处在于，它把外部监督信号"嫁接"进了原本纯粹依赖自我采样的强化学习流程中。模型不再只从自己生成的样本里学习，而是能够参照高质量的外部示例来校正方向，从而避免陷入奖励函数的局部陷阱。

共享速度回归目标

在技术实现上，GraftOOD 采用了一个共享的速度回归（velocity-regression）目标函数，它将两类监督信号结合在一起：

• 组相对奖励校正（group-relative reward rectification）：延续基于分组优势的奖励加权思路；
• 序列级示例监督（sequence-level exemplar supervision）：引入外部示例的直接监督。

这一设计有两个工程上的优势：既不需要为示例生成额外的轨迹（exemplar generation trajectories），也不需要引入额外的监督损失系数来平衡两类损失。研究团队从理论上刻画了该方法的逐点最优场（pointwise optimal field），将其描述为两种特定来源目标场的"源后验加权组合"（source-posterior-weighted combination），为方法提供了可解释的数学基础。

在线强化学习（online RL）中，模型持续从自身当前策略采样（online rollouts）并以此更新参数，这种自举式学习容易产生分布漂移——模型越来越只见自己生成的样本，逐渐偏离真实数据分布。分布外（out-of-distribution, OOD）样本则是来自当前策略分布之外的数据，可以是预先收集的高质量视频或其他模型生成的结果。将 OOD 样本引入训练的直觉在于：当模型陷入局部最优（例如生成静态画面以刷高奖励分），来自分布外的动态视频示例能提供"锚点"，打破自我强化的负向循环。这与 DPO（Direct Preference Optimization）中使用参考模型约束类似，但 GraftOOD 直接在采样层面做替换，而非通过 KL 散度隐式约束。

速度回归（velocity regression）是扩散/流匹配（flow matching）视频生成模型中的核心训练目标：模型学习预测从噪声到干净视频的"速度场"（velocity field），即每一步去噪方向。GraftOOD 选择在速度场层面统一两类监督信号，而非在最终生成帧层面做监督，这一选择具有重要意义——速度场是模型的直接输出，在其上施加监督既精确又高效，避免了将示例视频重新加噪再解码的额外开销。组相对奖励校正（group-relative reward rectification）延续了 GRPO（Group Relative Policy Optimization）的思路，通过组内样本的相对优劣来估计优势函数，无需单独训练值函数网络，降低了训练复杂度。两类目标在同一速度回归框架下自然融合，也因此无需引入额外的损失权重超参数进行人工平衡。

GraftSet-Video 数据集

为了给模型提供外部监督，研究团队构建了专门的数据集 GraftSet-Video。该数据集包含 2,397 个 prompt，对应 9,588 个格式匹配（format-matched）的视频示例，平均每个 prompt 约有 4 个示例。

格式匹配是一个关键细节——外部示例必须与模型自身生成的样本在格式上保持一致，才能被无缝地"嫁接"进训练流程中，而不会因为分布差异过大而引入噪声。

实验结果：动态性大幅提升

研究在 Wan2.1-1.3B 模型上进行了验证，结果颇具说服力。相较于仅依赖奖励的基线方法 FlowAWR：

• 动态程度（Dynamic Degree）从 4.86 跃升至 44.41，提升近 9 倍，直接针对运动崩塌问题；
• HPSv3 从 8.10 小幅下降至 7.32；
• VisionReward 基本保持不变。

在主要实验设置下，GraftOOD 在三种示例增强方法的横向对比中，于十项指标中有九项领先。这表明引入外部示例监督并非以牺牲整体质量为代价换取动态性，而是实现了较为均衡的改进。

Dynamic Degree（动态程度）是 EvalCrafter、VBench 等视频生成基准中常用的评估维度，通过光流（optical flow）幅度或帧间差异来量化视频的运动强度，数值越高表示画面运动越剧烈。HPSv3（Human Preference Score v3）则是基于人类偏好标注训练的图像/视频美学评分模型，倾向于奖励清晰、构图稳定的画面，这在一定程度上解释了为何动态性提升的同时 HPSv3 出现小幅下降——更多运动意味着更多模糊与复杂性，而这些特征在静态美学维度上并不总是加分项。这一现象也印证了论文对"高动态度≠高质量运动"的警示：单一指标无法全面衡量视频运动质量，需要多维度评估体系协同判断。

消融实验揭示的权衡

研究团队对示例频率（exemplar frequency）和组内示例数量（within-group count）进行了消融分析，得出一个重要结论：增加示例使用量并不会带来一致的收益，而是呈现出动态性与奖励之间的权衡关系。

这个发现相当克制和诚实。它提醒我们，外部示例监督是一把双刃剑——用得过多，可能会过度偏向动态性而损害其他质量维度；用得过少，又无法有效缓解运动崩塌。找到合适的平衡点，是实际应用中需要调优的关键。

对领域的启示

GraftOOD 的价值不仅在于提出了一个具体方法，更在于它对视频奖励优化范式的反思。研究明确指出：外部示例监督应作为标量奖励反馈的补充，而非替代。

同时，论文特别强调了一点——不应简单地将"更高的测量动态性"等同于"连贯、视觉上合理的运动"。换言之，Dynamic Degree 指标的大幅提升固然可喜，但指标数字本身并不能完全代表人眼感知的运动质量。这种对评估指标局限性的清醒认知，在当下指标竞赛盛行的研究环境中显得尤为可贵。

该研究的代码已在 GitHub 开源（项目名 FlowAWR），为后续研究者复现和拓展提供了便利。对于从事视频生成、强化学习微调的研究者而言，GraftOOD 提供了一条值得借鉴的技术路径：当纯粹的奖励优化走进死胡同时，适度引入外部高质量示例或许是破局的关键。