vid2vid-long
一种视频转视频生成方法,通过显式patch级对应关系从输入视频检索历史输出,注入交叉注意力,以在实时流式生成中保持长程时序一致性
时间轴 (近 90 天)
vid2vid-long 方法出自论文《Consistent Video-to-Video Translation via Explicit Correspondences》。
video-to-video 任务天然提供跨帧显式参照:输入视频中相互匹配的区域在输出视频中也应相互匹配。
vid2vid-long 对当前帧的每个 patch,在输入视频历史帧中寻找匹配 patch,得到 patch 级对应关系。
vid2vid-long 通过 correspondence cross-attention 将检索到的历史输出 patch 注入当前帧生成过程。
vid2vid-long 的检索是稀疏且有针对性的,只取当前帧真正需要的 patch,计算开销可控。
在多个近期视频模型上接入 vid2vid-long,长程时序一致性均得到一致提升。
引入 vid2vid-long 的检索机制后,生成质量没有下降。
vid2vid-long 保持了实时性能,没有用延迟换取一致性。
vid2vid-long 的效果依赖于输入侧 patch 匹配的可靠性;当输入视频存在遮挡、剧烈运动或大幅光照变化时,对应关系准确性会受影响。
光流通常只估计相邻帧的像素级运动,而 vid2vid-long 的对应关系是跨长距离帧的 patch 级语义匹配。
还有 1 条时间轴事件
全部知识事实 (11)
vid2vid-long 方法出自论文《Consistent Video-to-Video Translation via Explicit Correspondences》。
50%待验证video-to-video 任务天然提供跨帧显式参照:输入视频中相互匹配的区域在输出视频中也应相互匹配。
50%待验证vid2vid-long 对当前帧的每个 patch,在输入视频历史帧中寻找匹配 patch,得到 patch 级对应关系。
50%待验证vid2vid-long 通过 correspondence cross-attention 将检索到的历史输出 patch 注入当前帧生成过程。
50%待验证vid2vid-long 的检索是稀疏且有针对性的,只取当前帧真正需要的 patch,计算开销可控。
50%待验证在多个近期视频模型上接入 vid2vid-long,长程时序一致性均得到一致提升。
50%待验证引入 vid2vid-long 的检索机制后,生成质量没有下降。
50%待验证vid2vid-long 保持了实时性能,没有用延迟换取一致性。
50%待验证vid2vid-long 的效果依赖于输入侧 patch 匹配的可靠性;当输入视频存在遮挡、剧烈运动或大幅光照变化时,对应关系准确性会受影响。
50%待验证光流通常只估计相邻帧的像素级运动,而 vid2vid-long 的对应关系是跨长距离帧的 patch 级语义匹配。
50%待验证vid2vid-long 代表了将视频生成中的「记忆」问题转化为「检索」问题的趋势。
50%