SatisDive
一种文生图扩散模型推理阶段的生成控制方法,将生成问题重构为满足式任务,通过奖励下限和多样性截断双重约束,在满意度与多样性之间实现Pareto最优权衡,无需额外训练即可在推理阶段生效
时间轴 (近 90 天)
SatisDive 是 arXiv 论文《Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion》提出的文生图生成方法,将生成过程重构为满足式问题而非单纯的最优化问题
将奖励与多样性合并为一个聚合分数进行优化的方法存在缺陷:高多样性可以直接抵消低奖励,导致批次中仍可能夹杂明显偏离用户偏好的劣质图像
SatisDive 设定了两条硬性约束:奖励下限(每张候选图必须达到的奖励底线)和多样性截断(整批图像作为集合必须满足的多样性门槛)
通过改变奖励下限,可以定义出一条满意度与多样性之间的 Pareto 前沿
SatisDive 采用无需训练、在推理阶段即可生效的策略,引入批次相对奖励截断来区分低奖励与高奖励候选
对于低于截断线的候选,算法侧重提升其奖励;对于高于截断线的候选,则侧重维持它们之间的多样性
在 Pick-a-Pic 数据集上以 DreamSim 作为多样性度量,以 FLUX.1-dev 为基础模型、HPSv3 为奖励模型时,SatisDive 相比 FK steering 将最差候选奖励最多提升 0.43
以 SANA-1.6B 为基础模型、ImageReward 为奖励模型时,SatisDive 相比 FK steering 将最差候选奖励最多提升 0.70
在两种方法重叠的 DreamSim 范围内,SatisDive 的满意度-多样性曲线在每种设置下都 Pareto 支配 FK steering 的曲线
SatisDive 无需训练、仅在推理时介入,具备即插即用特性,论文已在 FLUX.1-dev、SANA-1.6B 以及 HPSv3、ImageReward 等多种组合上验证
全部知识事实 (10)
SatisDive 是 arXiv 论文《Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion》提出的文生图生成方法,将生成过程重构为满足式问题而非单纯的最优化问题
50%待验证将奖励与多样性合并为一个聚合分数进行优化的方法存在缺陷:高多样性可以直接抵消低奖励,导致批次中仍可能夹杂明显偏离用户偏好的劣质图像
50%待验证SatisDive 设定了两条硬性约束:奖励下限(每张候选图必须达到的奖励底线)和多样性截断(整批图像作为集合必须满足的多样性门槛)
50%待验证通过改变奖励下限,可以定义出一条满意度与多样性之间的 Pareto 前沿
50%待验证SatisDive 采用无需训练、在推理阶段即可生效的策略,引入批次相对奖励截断来区分低奖励与高奖励候选
50%待验证对于低于截断线的候选,算法侧重提升其奖励;对于高于截断线的候选,则侧重维持它们之间的多样性
50%待验证在 Pick-a-Pic 数据集上以 DreamSim 作为多样性度量,以 FLUX.1-dev 为基础模型、HPSv3 为奖励模型时,SatisDive 相比 FK steering 将最差候选奖励最多提升 0.43
50%待验证以 SANA-1.6B 为基础模型、ImageReward 为奖励模型时,SatisDive 相比 FK steering 将最差候选奖励最多提升 0.70
50%待验证在两种方法重叠的 DreamSim 范围内,SatisDive 的满意度-多样性曲线在每种设置下都 Pareto 支配 FK steering 的曲线
50%待验证SatisDive 无需训练、仅在推理时介入,具备即插即用特性,论文已在 FLUX.1-dev、SANA-1.6B 以及 HPSv3、ImageReward 等多种组合上验证
50%