重新审视CFG：TI2I流匹配中的隐式陷阱与修正

引言：当“标配”组件成为瓶颈

在生成式模型领域，Classifier-Free Guidance（CFG）几乎成了高质量输出的代名词。从文本到图像的生成，到如今更复杂的Text-and-Image-to-Image（TI2I）流匹配任务，CFG都被视为不可或缺的组件。然而，一项来自RSS源的研究对CFG在TI2I建模中的角色提出了颠覆性的观察：在流模型的噪声阶段，CFG机制实际上在暗中损害编辑能力，阻碍指令跟随和可控性。

这项研究并非简单否定CFG，而是揭示了一个被忽视的细节——CFG在不同时间步上的作用并非均质。作者提出了一种在早期流步骤中的简单修正，无需额外计算成本，就能实现更丰富的对齐-保持权衡。该方法的有效性在像素空间和潜在空间的TI2I流模型上都得到了验证。

rss source: Rethinking Classifier-Free Guidance for TI2I Flow Matching

Classifier-Free Guidance（CFG） 是目前扩散模型与流匹配模型中最主流的引导技术之一。其基本做法是：在训练时以一定概率丢弃条件（如文本），使同一个网络既能预测有条件分布，也能预测无条件分布；在采样时，用公式 $\hat{\epsilon} = \epsilon_{\text{uncond}} + s \cdot (\epsilon_{\text{cond}} - \epsilon_{\text{uncond}})$ 将两者相减后再放大，其中 $s$ 为引导强度。这样做的直觉是：条件与无条件预测之差代表了“条件所携带的方向”，放大这一方向就能让输出更贴近条件。CFG 的代价是采样时需要两次前向计算，并会牺牲一定的多样性。在文本到图像生成中，它几乎成为提升文本对齐的默认手段，这也是它在 TI2I 任务中被惯性沿用的原因。

核心发现：CFG在噪声阶段的“隐性伤害”

反直觉的观察

研究团队在TI2I流匹配方法上进行了系统性实验，结果令人意外：当CFG应用于流模型的噪声阶段（即早期流步骤）时，它并没有像在纯生成任务中那样提升质量，反而削弱了模型对编辑指令的跟随能力。这意味着，那些我们习以为常的CFG强度调节技巧，在TI2I场景下可能适得其反。

为什么会出现这种情况？关键在于TI2I任务的多模态性质。文本和图像两种条件同时存在，CFG在放大条件信号时，可能过度抑制了图像本身的结构信息，导致编辑结果偏离预期。尤其是在编辑的早期阶段，图像结构尚未稳定，CFG的强引导会引入偏差。

流匹配（Flow Matching） 是一类与扩散模型同源但形式更简洁的生成框架。它不定义逐步加噪的马尔可夫链，而是直接学习一个时间连续的速度场 $v_\theta(x_t, t)$，将噪声分布沿概率流 ODE 输运到数据分布。训练目标通常是回归从噪声到数据的条件速度 $x_1 - x_0$，采样时则从纯噪声出发，用数值积分（如 Euler 法）沿速度场前进若干步得到样本。所谓“噪声阶段”或“早期流步骤”，指的就是积分刚开始、$t$ 接近 0、样本仍是接近纯噪声的那几步。在这一阶段，图像的结构信息尚未成形，条件信号的作用方式与后期差异很大，这正是 CFG 行为发生反常的时间窗口。

与生成任务的本质差异

在传统的文本到图像生成中，CFG通过对比有条件和无条件的预测，增强了文本对齐。但TI2I编辑要求模型在保留原始图像内容的同时，根据指令进行修改。这种“对齐-保持”的权衡在噪声阶段尤为脆弱。研究指出，CFG的隐式危害正是因为它打破了这种平衡。

TI2I（Text-and-Image-to-Image）流匹配 与纯文本到图像生成的关键区别在于条件是多模态的：模型同时接收源图像和编辑指令文本，目标是在遵循指令做出修改的同时尽量保留源图像中未被指令涉及的内容。这形成了一个“对齐-保持”的权衡（alignment-preservation trade-off）：文本条件推动改变，图像条件约束不变。CFG 只在文本条件上做放大，等价于单方面增强“改变”的方向，却没有对应的机制来保护“保持”。在纯生成任务中不存在需要保留的源图像，因此这一副作用不会显现；而在 TI2I 中，放大文本引导会系统性地侵蚀图像条件的约束力，从而损害指令跟随的精确性与编辑的可控性。

简单修正：早期流步骤的校正策略

无需额外成本的改进

令人惊讶的是，解决方案极其简单。作者提出在早期流步骤中对CFG进行修正，具体来说，是在噪声阶段调整CFG的应用方式，使其不再干扰编辑指令的跟随。这种修正不需要重新训练模型，也不增加推理成本，完全在采样阶段完成。

该修正的核心思想是：在流模型的早期步骤中，降低或重新加权CFG的影响，让图像条件与文本条件更自然地融合。随着流步骤推进，再逐步恢复标准CFG，以保持最终输出的质量。这种动态调整实现了更精细的对齐-保持权衡。

像素空间与潜在空间的双重验证

研究在两种主流TI2I流匹配范式上验证了该方法：像素空间的流模型和潜在空间的流模型。结果表明，修正后的CFG在指令跟随和编辑可控性上均有显著提升，同时保持了高质量的生成结果。这说明了该发现的普适性，不依赖于特定的模型架构。

行业启示：重新思考引导机制的设计

这项研究给生成式AI领域带来了重要启示。CFG作为一项被广泛采用的“默认配置”，其在不同任务中的行为可能大相径庭。对于TI2I这类需要平衡多种条件的任务，盲目套用生成任务的引导策略可能不是最优解。

未来，我们或许需要更多针对特定任务的自适应引导机制。例如，设计时间步敏感的CFG调度策略，或者开发能够动态感知条件冲突的引导方法。这项研究为这一方向打开了大门，也提醒研究者和工程师：在追求高质量生成的同时，不应忽视引导机制对可控性的潜在影响。

结语

CFG并非万能钥匙。在TI2I流匹配中，它在噪声阶段的隐式危害被首次系统揭示，而简单的早期修正就能带来显著改善。这一发现不仅提升了编辑任务的性能，更促使我们重新审视那些被视为理所当然的组件。对于从事图像编辑、可控生成的研究者和开发者来说，这无疑是一个值得关注的转折点。