Annealed Lévy Diffusion
一种重尾扩散模型框架,通过让稳定性指数随时间退火,在扩散早期使用重尾噪声探索、后期趋近高斯噪声精修,兼顾探索性与重建精度
时间轴 (近 90 天)
Annealed Lévy Diffusion(ALD)将稳定性指数 α(t) 从固定值变为随时间 t 变化的退火函数,早期使用较大重尾特性,后期趋近高斯。
ALD 使用边际优先分解,将稳定噪声表示为标量高斯尺度混合形式,使得训练目标回归到标准高斯噪声预测损失,只需额外增加一个标量尺度输入。
论文在四个 2D 基准数据集和一个不平衡的九峰混合分布上评估了 ALD,并考察了训练效率以及预测扰动对 clipped Holtsmark 数据的影响。
ALD 在 MNIST 和 CelebA64 上的生成质量得到验证,并用于 CIFAR-10LT 的数据增强任务。
ALD 论文声称,ALD 在评估的轻尾目标和流形结构目标上能够保持局部几何特性。
ALD 的退火策略中超参数 α(t) 的调度设计、不同采样器在大规模高分辨率任务上的表现,以及重尾噪声对训练稳定性的影响,仍是需要进一步验证的问题。
ALD 论文目前主要聚焦于中小规模基准,向更大规模生成任务的可扩展性有待后续工作检验。
全部知识事实 (7)
Annealed Lévy Diffusion(ALD)将稳定性指数 α(t) 从固定值变为随时间 t 变化的退火函数,早期使用较大重尾特性,后期趋近高斯。
50%待验证ALD 使用边际优先分解,将稳定噪声表示为标量高斯尺度混合形式,使得训练目标回归到标准高斯噪声预测损失,只需额外增加一个标量尺度输入。
50%待验证论文在四个 2D 基准数据集和一个不平衡的九峰混合分布上评估了 ALD,并考察了训练效率以及预测扰动对 clipped Holtsmark 数据的影响。
50%待验证ALD 在 MNIST 和 CelebA64 上的生成质量得到验证,并用于 CIFAR-10LT 的数据增强任务。
50%待验证ALD 论文声称,ALD 在评估的轻尾目标和流形结构目标上能够保持局部几何特性。
50%待验证ALD 的退火策略中超参数 α(t) 的调度设计、不同采样器在大规模高分辨率任务上的表现,以及重尾噪声对训练稳定性的影响,仍是需要进一步验证的问题。
50%待验证ALD 论文目前主要聚焦于中小规模基准,向更大规模生成任务的可扩展性有待后续工作检验。
50%