VGC：用合成配对数据纠正生成视频的几何失真

生成视频在相机运动下经常出现几何不一致：视角变化时结构扭曲、视差不连贯，平滑的相机运动也可能退化成类似剪辑的跳变。一篇来自rss的新研究将这一失败归因于数据问题，并提出 Video Geometry Corrector（VGC）——一个在合成配对监督上训练的后处理视频到视频模型，在不改动源生成器的前提下修正几何错误。

几何一致性为何成为生成视频的短板

研究指出，在网页规模视频语料中，大部分可见运动来自动态物体，而拍摄这些物体的相机往往是静止或弱运动的。这意味着，模型能从数据中学到的“视角变化导致外观变化”的监督信号非常稀疏。

当模型被要求生成带有明显相机运动的视频时，它缺乏足够的先验来维持三维结构的一致性。结构在视角变化下发生扭曲、视差关系错乱、镜头运动崩解为跳切，都是这一数据缺陷的直接后果。作者因此主张：几何不一致本质上是“数据问题”，而非单纯的模型容量问题。

这一判断解释了为什么单纯扩大生成模型规模难以根治几何瑕疵——训练分布中缺少足够的相机运动样本，模型自然学不到正确的几何变换规律。

视差与三维结构一致性：视差是指相机运动时，不同深度的物体在图像平面上产生不同速度的位移。它是人类视觉感知三维结构的关键线索，也是判断生成视频几何是否合理的核心指标。当生成模型无法正确建模视差时，前景与背景会以不一致的方式移动，导致物体看起来像贴在背景上的“纸片”，或结构在视角变化时发生扭曲。几何一致性要求视频序列中的每一帧都对应同一个三维场景在相机运动下的投影，模型必须隐式学习场景的深度与相机运动关系才能满足这一约束。

VGC 的工作机制：后处理而非重训

VGC 的设计思路是“事后修正”。它不修改任何源生成器，而是在生成结果之上叠加一层视频到视频的转换模型，将几何失真的视频映射为几何一致的版本。

为了训练这一修正器，作者构建了 VG-Pairs 合成配对监督数据集。具体流程是：从带有多样相机运动和位姿标注的真实视频出发，将每个视频片段视为“几何一致的目标”，再用预训练的图生视频修复模型，配合轨迹自适应关键帧，合成出对应的“失真版本”。这样便得到成对的（失真，一致）训练样本。

训练时，VGC 学习从失真输入还原到一致目标。光学流被用作辅助线索，帮助模型将相机运动与物体运动解耦——这是几何修正的关键，因为只有正确区分两者，才能在不破坏物体自身运动的前提下校正视角变化带来的形变。

图生视频修复模型与轨迹自适应关键帧：图生视频修复模型通常指能够根据单帧图像和运动条件生成或补全视频序列的预训练模型。在 VG-Pairs 的构造中，作者用它来“重现”真实视频的视觉内容，但以受控方式引入几何失真。轨迹自适应关键帧则是指根据相机运动轨迹动态选择关键帧，使合成的失真版本在时间上具有可控的视角变化模式，从而模拟生成模型常见的几何错误。这种合成策略的关键在于：失真版本在内容和外观上接近真实视频，但在几何变换上偏离正确规律，从而为 VGC 提供高质量的配对监督信号。

光学流与运动解耦：光学流描述相邻帧之间像素的对应位移场。在几何修正中，光学流包含相机运动引起的全局流和物体自身运动引起的局部流。VGC 利用光学流作为辅助线索，将两者分离：相机运动对应一致的全局变换（如平移、旋转引起的流场模式），而物体运动则表现为局部异常。只有正确解耦两者，模型才能在修正视角相关形变时不破坏物体自身的动态行为，否则可能把物体运动误判为几何错误并“校正”掉，导致内容失真。

实验表现与可扩展性

在基于位姿条件和提示词驱动的两类基准测试中，VGC 均提升了多个源生成器的几何一致性。这意味着该方法的修正能力不绑定于某一个特定生成器，具有一定的通用性。

作者还展示了框架的可扩展性：将骨干网络扩展到更大规模后，VGC 能向更通用的视频精修方向延伸。这提示了一条务实的改进路径——与其从头训练更强的生成模型，不如在现有生成器之上叠加可扩展的几何修正模块。

对生成视频领域的启示

VGC 的价值不止于一个修正工具。它揭示了当前视频生成研究中的一个盲区：数据分布中的相机运动偏差被长期忽视，而这一偏差直接限制了模型的三维理解能力。

合成配对监督的思路也值得关注。真实世界中难以获得“同一场景、同一内容、不同几何质量”的成对数据，而通过失真合成可以低成本地构造大规模训练信号。这种数据构造策略可能被推广到其他视频质量维度，例如时序一致性、物理合理性等。

当然，VGC 作为后处理模块，其修正能力受限于源视频的信息保留程度。若源生成器在几何上已严重崩坏，后处理能恢复的空间也有限。此外，合成失真与真实生成失真之间的分布差异，仍是该方法需要持续验证的问题。