图生视频
生成式视频模型的一种输入模式,以静态图片作为起始帧,结合文字提示词生成视频。相比文生视频,图生视频具有更高的可控性,提示词专注于运动描述而非场景描述
核心事实
时间轴 (近 90 天)
图生视频对脸和服装的保持远好于用文本提示词直接生成视频。
图生视频并非零漂移,当运动幅度大、镜头快速旋转或角色转身背对再转回时,模型仍需“想象”未见过的面部,易逐渐偏离。
3到5秒的短片段比长片段漂移更少。
图生视频指以一张静帧作为视频第一帧或条件输入,由模型预测后续帧的运动。
图生视频相较文生视频带来两个实际影响:可控性提升(主体外观、构图、色调、光线被起始帧锁定)和提示词职责收窄(只需描述动作、镜头和保持细节)。
图生视频的代价是模型对画面本身的创造力被抑制,若起始帧质量不高,输出也难有突破。
使用图生视频时建议先从短片段、低分辨率开始测试工作流是否跑通,再逐步提升参数,并且可以通过分块推理或降低精度来缓解显存压力。
图生视频技术让企业可以将已有产品图、包装图、模特图转化为视频资产,而不必重新拍摄。
先用文生图产出每个场景关键帧并审核,再以关键帧驱动I2V生成动态片段,可将跨镜头一致性问题分解为更可控的逐帧检查问题
文生视频模型较新版本通常支持更长的单段视频生成,但更长的时序建模意味着对提示词理解的容错率更低,人物易漂移变形
还有 13 条时间轴事件
全部知识事实 (20)
在图生视频工作流中,起始图像的质量直接决定了最终视频的质量上限
65%待验证图生视频模式相比纯文本驱动能够显著降低生成结果的随机性
80%待验证分段生成策略是将长视频拆分为多个短片段,每段以上一段末帧作为新起始图像来保持连贯
60%待验证图生视频提示词应聚焦于图像中已存在元素如何运动,而不是引入图像里没有的新场景或人物,越贴近首帧内容连贯性越好
60%待验证图生视频并非零漂移,当运动幅度大、镜头快速旋转或角色转身背对再转回时,模型仍需“想象”未见过的面部,易逐渐偏离。
50%待验证图生视频指以一张静帧作为视频第一帧或条件输入,由模型预测后续帧的运动。
50%待验证图生视频对脸和服装的保持远好于用文本提示词直接生成视频。
50%待验证3到5秒的短片段比长片段漂移更少。
50%待验证图生视频相较文生视频带来两个实际影响:可控性提升(主体外观、构图、色调、光线被起始帧锁定)和提示词职责收窄(只需描述动作、镜头和保持细节)。
50%待验证图生视频的代价是模型对画面本身的创造力被抑制,若起始帧质量不高,输出也难有突破。
50%待验证使用图生视频时建议先从短片段、低分辨率开始测试工作流是否跑通,再逐步提升参数,并且可以通过分块推理或降低精度来缓解显存压力。
50%待验证图生视频技术让企业可以将已有产品图、包装图、模特图转化为视频资产,而不必重新拍摄。
50%待验证先用文生图产出每个场景关键帧并审核,再以关键帧驱动I2V生成动态片段,可将跨镜头一致性问题分解为更可控的逐帧检查问题
50%待验证文生视频模型较新版本通常支持更长的单段视频生成,但更长的时序建模意味着对提示词理解的容错率更低,人物易漂移变形
50%待验证图生视频(I2V)是指以静态图片为起始帧,由AI模型预测并生成后续帧从而产生连贯动态画面的技术
50%待验证首尾帧衔接技术是将前一个片段的最后一帧作为下一个片段的起始帧,让动作视觉上无缝延续
50%待验证使用能读取起始图像的多模态视觉理解模型生成或修正提示词可以缓解首帧断裂问题
50%待验证降低运动幅度提高图像忠实度会牺牲一部分动态表现力,是连贯性与动态表现之间的权衡
50%待验证首帧断裂现象表现为视频开头约2秒画面保持起始图像状态,随后人物突然出现在完全不同的场景中
50%待验证首帧断裂的核心成因是提示词增强器无法读懂起始图像的内容,导致提示词与图像语义错位
50%