选择性循环

循环UDLM通过递归复用早期Transformer层，在保持训练目标和采样器不变的前提下，将训练效率提升数倍。

选择性循环此前在MDLM中被证明能在等FLOP预算下提升训练效率，具体做法是在每个去噪步骤中递归应用少数几个早期Transformer层。

选择性循环是一种与训练目标解耦的纯架构修改，可以独立应用，而不需要改变扩散模型的训练目标或采样算法。