身份漂移
AI视频生成中的系统性问题,指角色面部特征、发型、服饰等视觉属性在生成序列中随时间步逐渐偏移的现象,源于扩散模型缺乏显式角色状态维护机制
核心事实
时间轴 (近 90 天)
身份漂移源于生成模型对整张图像进行重绘,而非像传统修图那样只改动局部像素。
缓解身份漂移的手段包括:在提示词中明确列出必须保留的特征(眼睛形状、发际线、下颌线、表情),避免同时叠加过多造型指令,以及编辑后逐项对照原图检查。
OmniCapBench 能够诊断四类典型失败模式:时序定位失败、身份漂移、跨模态错位和幻觉描述。
身份漂移和跨模态错位是当前前沿 MLLM 在音频-视觉字幕任务中最突出的两个薄弱环节。
商业方案与开源方案的核心差距之一在于商业方案通过更大的训练数据规模和专门的时序损失函数来缓解身份漂移问题
身份漂移(identity drift)是基于扩散模型的视频生成系统的系统性缺陷,因模型帧间不维护显式角色状态而依赖注意力机制和参考图软约束,导致角色面部、发型、服饰随时间步逐渐偏移
全部知识事实 (6)
身份漂移(identity drift)是基于扩散模型的视频生成系统的系统性缺陷,因模型帧间不维护显式角色状态而依赖注意力机制和参考图软约束,导致角色面部、发型、服饰随时间步逐渐偏移
75%待验证身份漂移源于生成模型对整张图像进行重绘,而非像传统修图那样只改动局部像素。
50%待验证缓解身份漂移的手段包括:在提示词中明确列出必须保留的特征(眼睛形状、发际线、下颌线、表情),避免同时叠加过多造型指令,以及编辑后逐项对照原图检查。
50%待验证OmniCapBench 能够诊断四类典型失败模式:时序定位失败、身份漂移、跨模态错位和幻觉描述。
50%待验证身份漂移和跨模态错位是当前前沿 MLLM 在音频-视觉字幕任务中最突出的两个薄弱环节。
50%待验证商业方案与开源方案的核心差距之一在于商业方案通过更大的训练数据规模和专门的时序损失函数来缓解身份漂移问题
50%