概念Text-and-Image-to-Image / 文本与图像到图像
TI2I
一种多模态条件生成任务,模型同时接收源图像和编辑指令文本,目标是在遵循指令修改图像的同时保留源图像中未被指令涉及的内容,核心挑战是'对齐-保持'权衡
时间轴 (近 90 天)
10月16日
TI2I任务的条件是多模态的:模型同时接收源图像和编辑指令文本,形成'对齐-保持'权衡(alignment-preservation trade-off),文本条件推动改变,图像条件约束不变。
待验证50%
10月16日
在TI2I中,CFG只在文本条件上做放大,等价于单方面增强'改变'方向,却没有保护'保持'的机制,从而系统性侵蚀图像条件的约束力。
待验证50%
10月16日
对于TI2I这类需要平衡多种条件的任务,盲目套用生成任务的引导策略可能不是最优解。
待验证50%
10月16日
在纯文本到图像生成任务中不存在需要保留的源图像,因此CFG放大文本引导的副作用不会显现;而在TI2I中该副作用会损害指令跟随精确性与编辑可控性。
待验证50%