SFG
语义反馈引导(Semantic Feedback Guidance),一种针对多模态扩散Transformer的推理引导方法,通过抑制图像到文本(I2T)的反馈固化效应来提升生成结果与提示词的对齐质量
时间轴 (近 90 天)
研究者提出了语义反馈引导(Semantic Feedback Guidance, SFG)方法,通过构建辅助分支强化I2T反馈并削弱T2I条件,然后在引导时让生成过程远离该辅助分支方向
SFG提供了原地变体iSFG,直接抑制I2T反馈并强化T2I条件,无需额外的模型评估,不增加推理成本(NFE)
SFG分支只需在图像采样的前20%步骤运行即可,在不使用CFG情况下其开销仅约为基础NFE的1.2倍
在FLUX模型上,将SFG叠加到CFG之上,GenEval分数从0.6661提升到0.7479
SFG的反馈抑制思路可以迁移到文本生成视频和图像生成视频任务上,并在VBench评分上取得改善
研究在三个图像生成骨干网络上进行了验证,结果在对齐度和偏好模型评分上均有提升
SFG是一个无需重新训练模型、即插即用的改进范式
研究团队已将SFG代码开源于GitHub(github.com/yyc1215lll-creator/SFG)
全部知识事实 (8)
研究者提出了语义反馈引导(Semantic Feedback Guidance, SFG)方法,通过构建辅助分支强化I2T反馈并削弱T2I条件,然后在引导时让生成过程远离该辅助分支方向
50%待验证SFG提供了原地变体iSFG,直接抑制I2T反馈并强化T2I条件,无需额外的模型评估,不增加推理成本(NFE)
50%待验证SFG分支只需在图像采样的前20%步骤运行即可,在不使用CFG情况下其开销仅约为基础NFE的1.2倍
50%待验证在FLUX模型上,将SFG叠加到CFG之上,GenEval分数从0.6661提升到0.7479
50%待验证SFG的反馈抑制思路可以迁移到文本生成视频和图像生成视频任务上,并在VBench评分上取得改善
50%待验证研究在三个图像生成骨干网络上进行了验证,结果在对齐度和偏好模型评分上均有提升
50%待验证SFG是一个无需重新训练模型、即插即用的改进范式
50%待验证研究团队已将SFG代码开源于GitHub(github.com/yyc1215lll-creator/SFG)
50%