SoftCache
一种免训练的扩散Transformer推理加速方法,通过利用陈旧度信号的余量自适应调制采样步长,实现软缓存而非二元硬缓存,在保持生成质量的同时显著提升速度
时间轴 (近 90 天)
研究者提出SoftCache,执行软缓存:让陈旧度信号的余量决定每个缓存步骤前进的距离,当余量较大时采样器跳过多个预定节点,当刷新临近时步长逐渐收缩回原始步长。
SoftCache的核心创新在于将缓存决策从离散的二元选择转变为连续的步长调制。
SoftCache完全免训练,并且不增加任何针对特定骨干网络的参数设置,可以直接应用于不同的扩散Transformer架构,无需针对每个模型进行超参数调整。
SoftCache仅依赖陈旧度信号与误差之间的经验相关性,不依赖特定网络的权重或结构,因此同一套阈值和步长映射规则可以直接迁移到不同规模的DiT上。
实验结果显示,在3.5倍到6.9倍的速度提升下,SoftCache在所有四项保真度指标上均领先于所有基线方法。
速度提升的具体数值因模型和任务而异:FLUX上的加速比与视频模型上的加速比有所不同,但整体落在3.5倍至6.9倍的区间内。
SoftCache将陈旧度信号视为连续的误差预测器,而非仅作为触发条件,信号的大小本身包含了关于当前近似质量的信息。
全部知识事实 (7)
研究者提出SoftCache,执行软缓存:让陈旧度信号的余量决定每个缓存步骤前进的距离,当余量较大时采样器跳过多个预定节点,当刷新临近时步长逐渐收缩回原始步长。
50%待验证SoftCache的核心创新在于将缓存决策从离散的二元选择转变为连续的步长调制。
50%待验证SoftCache完全免训练,并且不增加任何针对特定骨干网络的参数设置,可以直接应用于不同的扩散Transformer架构,无需针对每个模型进行超参数调整。
50%待验证SoftCache仅依赖陈旧度信号与误差之间的经验相关性,不依赖特定网络的权重或结构,因此同一套阈值和步长映射规则可以直接迁移到不同规模的DiT上。
50%待验证实验结果显示,在3.5倍到6.9倍的速度提升下,SoftCache在所有四项保真度指标上均领先于所有基线方法。
50%待验证速度提升的具体数值因模型和任务而异:FLUX上的加速比与视频模型上的加速比有所不同,但整体落在3.5倍至6.9倍的区间内。
50%待验证SoftCache将陈旧度信号视为连续的误差预测器,而非仅作为触发条件,信号的大小本身包含了关于当前近似质量的信息。
50%