Annealed Lévy Diffusion：用高斯代理实现重尾扩散新范式

扩散模型已经成为生成建模的主流框架，但标准高斯扩散在捕捉重尾分布时存在天然局限。Denoising Lévy Probabilistic Models（DLPM）通过引入重尾扰动来解决这一问题，却在去噪全程使用固定的尾部指数，缺乏灵活性。一篇新论文提出的 Annealed Lévy Diffusion（ALD）试图在重尾探索与高斯精修之间找到平衡点。

核心思路：让稳定性指数随时间变化

ALD 的核心创新在于将稳定性指数 $\alpha(t)$ 从固定值变为随时间 $t$ 变化的退火函数。在扩散过程的早期阶段，较大的重尾特性提供更强的探索能力；随着过程推进，$\alpha(t)$ 逐渐增大，噪声分布趋近高斯，从而实现精细的样本 refinement。

这一设计回应了扩散模型中的一个根本矛盾：重尾噪声有助于跳出局部模式、覆盖更广的分布区域，但高斯噪声在逆过程的高精度重建中表现更稳定。ALD 用退火策略将两者的优势串联起来，而非二选一。

稳定性指数与 Lévy 过程：稳定性指数（stability index，通常记为 α 或 β）是稳定分布（Lévy α-stable distribution）的形状参数，取值范围为 (0, 2]。它直接控制分布的尾部衰减速率：α 越小，尾部越重，极端值出现的概率越高，方差甚至均值可能不存在；当 α = 2 时，稳定分布退化为高斯分布，尾部呈指数级快速衰减。因此，α 可以看作从"重尾探索"到"高斯精修"之间连续过渡的旋钮。在扩散模型的语境下，加噪分布本质上是一个 Lévy 稳定过程驱动的随机过程，不同 α 值对应不同强度的跳跃。DLPM 等早期工作在整个前向和逆向过程中固定 α，意味着噪声特性从始至终保持一致；而 ALD 让 α(t) 随时间演化，相当于让前向过程本身具有"从重尾逐渐淡化为高斯"的非平稳结构，这正是其灵活性的来源。

边际优先分解：把稳定噪声表达为高斯尺度混合

让 ALD 真正可训练的关键，是论文提出的"边际优先"（marginal-first）表述。作者将稳定噪声表示为标量高斯尺度混合（Gaussian scale mixture）形式，这意味着每次加噪可以用一个高斯变量乘以一个尺度因子来刻画。

这一变换带来的直接好处是：训练目标回归到标准的高斯噪声预测损失，只需在网络输入中额外增加一个标量尺度输入。也就是说，研究者不需要为 Lévy 扩散重新设计训练框架，现有高斯扩散的训练管线经过最小修改即可复用。这大幅降低了采用重尾扩散的门槛。

高斯尺度混合与边际优先训练：高斯尺度混合（Gaussian scale mixture）是指一个随机变量可以表示为一个标准高斯变量乘以一个独立的非负尺度随机变量，即 X = S · Z，其中 Z ~ N(0, I)，S 为标量尺度因子。许多重尾分布（包括稳定分布、学生 t 分布等）都可以用这种形式表达。"边际优先"（marginal-first）指的是先推导出加噪过程在任意时刻的边际分布，再据此构造训练目标，而不是直接模拟整个随机微分方程的轨迹。这样做的好处是：给定干净样本 x₀ 和尺度 S，加噪样本 x_t 的条件分布仍然是高斯的，因此我们可以像标准扩散模型一样，用去噪分数匹配或噪声预测损失来训练网络，只需让网络额外接收尺度 S 作为输入条件。这种分解把重尾扩散的训练问题完全拉回到已有高斯扩散的框架内，是 ALD 能够"即插即用"的理论基础。

两种采样器，一个预测器

ALD 论文研究了两种采样过程，它们共享同一个训练好的噪声预测器，仅通过不同的标量输入来区分：

ALD-renoise 采用"估计干净样本后重新注入边际噪声"的策略。每一步先去噪得到对 $x_0$ 的估计，再从当前边际分布中采样新的噪声。这种方式实现简单，但每步之间引入了随机重置，可能丢失相邻状态间的依赖结构。

ALD-posterior 则通过累积条件方差和高斯桥更新来保持相邻状态之间的依赖关系。相比 renoise，它更接近传统扩散采样的马尔可夫链结构，理论上能提供更平滑的采样轨迹。两种采样器在不同任务上各有优势，论文通过实验展示了这一对比。

ALD-renoise 与 ALD-posterior 的机制差异：ALD-renoise 在每一步先根据当前状态估计干净样本 x̂₀，然后从当前的边际分布中重新采样噪声得到下一步状态。这种"估计-重加噪"的范式类似于扩散模型中的祖先采样（ancestral sampling），但由于每步都重新抽取噪声，相邻状态之间不再是严格的马尔可夫链，样本轨迹可能显得更"跳跃"。ALD-posterior 则采用后验采样思路：它累积条件方差，并利用高斯桥（Gaussian bridge）来构造从当前状态到下一状态的转移，使相邻状态之间保持显式的依赖关系。高斯桥是一种条件高斯过程，在给定两端点的情况下插值中间路径，能够保证转移的平滑性和马尔可夫性质。直观上，renoise 更适合需要强噪声注入以探索多模态分布的场景，而 posterior 更适合需要生成高质量、结构连贯样本的场景。两者共享同一预测器，意味着在部署时可以根据任务需求灵活切换采样器，而无需重新训练模型。

实验覆盖：从 2D 基准到图像生成

论文在四个 2D 基准数据集和一个不平衡的九峰混合分布上评估了 ALD，同时考察了训练效率以及预测扰动对 clipped Holtsmark 数据的影响。

在图像生成方面，ALD 在 MNIST 和 CelebA64 上的生成质量得到验证，并用于 CIFAR-10LT 的数据增强任务。论文声称，ALD 在评估的轻尾目标和流形结构目标上能够保持局部几何特性——这对于数据增强场景尤为关键，因为增强样本如果偏离原始流形，反而会损害下游模型性能。

为什么值得关注

ALD 的价值不只是又一个扩散变体。它提供了一个模块化的思路：任何使用高斯扩散的框架，都可以通过增加一个尺度输入来获得重尾探索能力，而无需更换训练目标或网络架构。对于需要在多模态分布、长尾数据或不平衡数据集上工作的研究者，这种"即插即用"的重尾扩展具有实际吸引力。

当然，退火策略中超参数 $\alpha(t)$ 的调度设计、不同采样器在大规模高分辨率任务上的表现，以及重尾噪声对训练稳定性的影响，仍是需要进一步验证的问题。论文目前主要聚焦于中小规模基准，向更大规模生成任务的可扩展性有待后续工作检验。