[控场AI]
论文vid2vid-long

vid2vid-long

一种视频转视频生成方法,通过显式patch级对应关系从输入视频检索历史输出,注入交叉注意力,以在实时流式生成中保持长程时序一致性

时间轴 (近 90 天)

11月13日

vid2vid-long 方法出自论文《Consistent Video-to-Video Translation via Explicit Correspondences》。

待验证50%
11月13日

video-to-video 任务天然提供跨帧显式参照:输入视频中相互匹配的区域在输出视频中也应相互匹配。

待验证50%
11月13日

vid2vid-long 对当前帧的每个 patch,在输入视频历史帧中寻找匹配 patch,得到 patch 级对应关系。

待验证50%
11月13日

vid2vid-long 通过 correspondence cross-attention 将检索到的历史输出 patch 注入当前帧生成过程。

待验证50%
11月13日

vid2vid-long 的检索是稀疏且有针对性的,只取当前帧真正需要的 patch,计算开销可控。

待验证50%
11月13日

在多个近期视频模型上接入 vid2vid-long,长程时序一致性均得到一致提升。

待验证50%
11月13日

引入 vid2vid-long 的检索机制后,生成质量没有下降。

待验证50%
11月13日

vid2vid-long 保持了实时性能,没有用延迟换取一致性。

待验证50%
11月13日

vid2vid-long 的效果依赖于输入侧 patch 匹配的可靠性;当输入视频存在遮挡、剧烈运动或大幅光照变化时,对应关系准确性会受影响。

待验证50%
11月13日

光流通常只估计相邻帧的像素级运动,而 vid2vid-long 的对应关系是跨长距离帧的 patch 级语义匹配。

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

来源文章