RASS
一种针对扩散模型的排名感知推测采样方法,通过对草稿候选按均值位移排序并优化选择权重,在保持精确采样的前提下减少目标模型调用次数,提升推理速度
时间轴 (近 90 天)
论文《Rank-Aware Speculative Sampling for Diffusion Draft Trees》(RASS)发表于 arXiv,提出了针对扩散模型推测采样草稿树的改进方法
RASS 在 CIFAR-10 上、匹配计算预算的条件下提速约达 20%
RASS 在所有评估设置下都优于 D-GRS(Diffusion Greedy Rejection Sampling)
RASS 的核心机制基于排名感知的列表耦合(rank-aware list coupling),包括按提议-目标均值位移排序候选、以优化权重采样排名、最大耦合加残差修正三步
RASS 的排名权重优化目标是最小化被选中提议分布与目标分布之间的总变差距离(total variation)
RASS 通过最大耦合与残差修正保证输出样本严格服从目标分布,实现精确采样,不引入偏差
论文在四类任务上评估了 RASS:高斯混合目标分布、FFHQ 无条件像素空间生成、CIFAR-10 条件生成、基于 Stable Diffusion 3.5 的潜空间扩散
RASS 评估使用 COCO2014 提示词对接 Stable Diffusion 3.5 潜空间扩散模型
RASS 属于不改模型、只改验证规则的加速手段,对已训练好的大型扩散模型无需重新训练即可叠加收益
全部知识事实 (9)
RASS 属于不改模型、只改验证规则的加速手段,对已训练好的大型扩散模型无需重新训练即可叠加收益
50%待验证RASS 在 CIFAR-10 上、匹配计算预算的条件下提速约达 20%
50%待验证RASS 在所有评估设置下都优于 D-GRS(Diffusion Greedy Rejection Sampling)
50%待验证RASS 的核心机制基于排名感知的列表耦合(rank-aware list coupling),包括按提议-目标均值位移排序候选、以优化权重采样排名、最大耦合加残差修正三步
50%待验证RASS 的排名权重优化目标是最小化被选中提议分布与目标分布之间的总变差距离(total variation)
50%待验证RASS 通过最大耦合与残差修正保证输出样本严格服从目标分布,实现精确采样,不引入偏差
50%待验证论文在四类任务上评估了 RASS:高斯混合目标分布、FFHQ 无条件像素空间生成、CIFAR-10 条件生成、基于 Stable Diffusion 3.5 的潜空间扩散
50%待验证RASS 评估使用 COCO2014 提示词对接 Stable Diffusion 3.5 潜空间扩散模型
50%待验证论文《Rank-Aware Speculative Sampling for Diffusion Draft Trees》(RASS)发表于 arXiv,提出了针对扩散模型推测采样草稿树的改进方法
50%