DaTMe
一种无需训练的扩散模型加速方法,通过Tweedie去噪估计构建动力学感知重要性图,自适应识别锚点token与安全合并候选,在保持生成质量的同时减少冗余计算。
时间轴 (近 90 天)
研究者提出了Dynamics-aware Token Merging(DaTMe),一种将token合并决策建立在扩散过程动力学之上的无需训练加速策略。
DaTMe从Tweedie去噪估计中构建动力学感知的重要性图,融合时间信号(相邻步骤间预测干净图像的变化程度)和结构信号(边界和精细细节等局部高频内容)两类信号。
DaTMe在给定压缩比下,根据重要性图将token自适应地划分为保留的锚点(anchors)和被合并的安全候选。
DaTMe在PixArt-a和FLUX两个扩散模型上进行了实验验证。
实验结果显示,DaTMe能够在整幅图像范围内维持视觉保真度,而不仅仅保护前景区域。
DaTMe的核心论点是扩散动力学可以作为token级合并决策的有效依据。
DaTMe提供了一条无需重新训练、可直接插入现有扩散管线的加速路径。
全部知识事实 (7)
研究者提出了Dynamics-aware Token Merging(DaTMe),一种将token合并决策建立在扩散过程动力学之上的无需训练加速策略。
50%待验证DaTMe从Tweedie去噪估计中构建动力学感知的重要性图,融合时间信号(相邻步骤间预测干净图像的变化程度)和结构信号(边界和精细细节等局部高频内容)两类信号。
50%待验证DaTMe在给定压缩比下,根据重要性图将token自适应地划分为保留的锚点(anchors)和被合并的安全候选。
50%待验证DaTMe在PixArt-a和FLUX两个扩散模型上进行了实验验证。
50%待验证实验结果显示,DaTMe能够在整幅图像范围内维持视觉保真度,而不仅仅保护前景区域。
50%待验证DaTMe的核心论点是扩散动力学可以作为token级合并决策的有效依据。
50%待验证DaTMe提供了一条无需重新训练、可直接插入现有扩散管线的加速路径。
50%