长跳跃连接为何决定DiT模型的特征表达能力

DiT的悖论：生成更强，理解更弱

扩散模型中间层激活所提取的特征（diffusion feature），正逐渐成为统一图像生成与视觉理解的重要桥梁。随着扩散骨干网络从传统的 U-Net 演进到 Diffusion Transformer（DiT），业界获得了更强的生成能力。然而一个反直觉的现象浮出水面：DiT 虽然生成质量更高，提取出的特征却反而更弱。

这个矛盾对"生成-理解统一"的愿景构成了直接威胁。如果一个模型能画出更逼真的图像，却无法在下游判别任务中提供有效的表征，那么它作为通用视觉基座的价值就要打上问号。这篇研究正是围绕这一问题展开，并给出了一个清晰且可验证的答案。

扩散特征（diffusion feature）的提取通常做法是：在推理时，对带噪图像执行若干去噪步骤，然后截取骨干网络中间层的激活值作为视觉表征，供下游分类、分割、深度估计等判别任务使用。这种方式的吸引力在于，扩散模型经过大规模图像训练后天然具备丰富的语义感知能力，理论上无需额外的判别式预训练就能提供强大的特征。Diffusion Transformer（DiT）是将原先基于卷积的 U-Net 骨干替换为标准 Transformer 块的新一代架构，其核心优势是更好的扩展性（scalability）和更高的生成质量，代表性实现包括 Stability AI 的 DiT 系列以及 Flux、SD3 等模型。然而正是这一架构转变，意外导致了判别特征质量的退步，形成了生成与理解之间的性能剪刀差。

关键变量：长跳跃连接（LSC）

研究者通过受控的从零训练（from-scratch training）实验，分离出影响特征质量的核心因素——长跳跃连接（Long Skip Connections, LSC）。结论相当直接：带有 LSC 的 DiT 能够产生更优质的特征。

这里的方法论值得强调。相比直接对比不同架构的现成模型（容易混入数据、规模、训练策略等干扰变量），从零开始的受控训练能够把 LSC 这一单一变量独立出来。正是这种干净的实验设计，让"LSC 决定特征质量"的因果关系得以成立，而不只是相关性观察。

机制拆解：扩散噪声如何"污染"图像信号

论文最有价值的部分，是对背后机制的诊断，而不仅仅停留在现象描述。

输入信号的双重身份

扩散骨干网络的输入同时包含两类信息：潜在图像（latent image）与扩散噪声（diffusion noise）。关键洞察在于，这里的"噪声"虽然形式上是噪声，实际上编码了扩散轨迹（diffusion trajectory）的信息。为了对带噪变量（无论是预测 $v$ 还是 $\epsilon$）做出最终预测，骨干网络必须同时利用图像信号和轨迹信号。

为何没有LSC会削弱特征

问题就出在这里。当两类信号都必须穿过主干网络传递时，噪声信号会"污染"图像信号，导致主干中承载的图像表征质量下降。换句话说，网络被迫在同一条通路里既要保留干净的语义信息，又要搬运轨迹相关的噪声信息，二者相互干扰。

长跳跃连接则提供了一条捷径：它把扩散噪声直接短接到真正需要它的位置，从而让主干网络中残留的噪声信号大幅减弱。主干被"净化"后，图像语义得以更纯粹地保留，特征质量随之提升。

扩散模型的训练目标通常是预测噪声 $\epsilon$（噪声预测目标）或速度场 $v$（v-prediction目标）。在给定时间步 $t$ 的条件下，带噪输入 $x_t$ 可以表示为 $x_t = \alpha_t x_0 + \sigma_t \epsilon$，其中 $\alpha_t$ 和 $\sigma_t$ 是由噪声调度（noise schedule）决定的系数。骨干网络需要从 $x_t$ 中同时"读取"两类信息：$x_0$ 对应的语义内容（图像信号），以及 $t$ 时刻对应的噪声分量（轨迹信号）。轨迹信号并非真正随机——它在整个去噪过程中携带关于当前所处扩散轨迹位置的隐式信息，是网络完成预测任务的必要输入。这两类信号的耦合，正是没有 LSC 的骨干网络面临的根本困境。

超越技巧：LSC与扩散目标的本质关联

这项工作更深层的意义在于重新定义了 LSC 的地位。长期以来，跳跃连接常被视为一种工程技巧——有用，但缺乏原理层面的解释。本文的分析表明，LSC 并非可有可无的小把戏，而是与扩散目标本身紧密相关的结构性要素。

从这个角度看，U-Net 之所以在特征质量上表现良好，很可能并非偶然，而是其天然的长跳跃结构恰好契合了扩散任务中"分离图像信号与轨迹信号"的需求。DiT 在追求纯粹 Transformer 架构的同时若放弃了 LSC，就相当于丢掉了这一关键的信号解耦机制。

U-Net 的长跳跃连接将编码器各层的特征图直接拼接到对称的解码器层，形成天然的信号分流机制：编码器侧可以更专注于提取语义特征，而解码器侧通过跳跃连接接收低层细节（以及隐含的噪声轨迹信息）来完成像素级重建。这一结构在 U-Net 被设计出来时（最初用于医学图像分割）并非为扩散任务定制，却在扩散模型时代意外地契合了信号解耦的需求。纯 Transformer 架构的 DiT 舍弃了这一层次化的编解码结构，所有层以串行方式堆叠，输入信号必须贯穿整个主干，使得语义信号与轨迹信号无从分离。本文的贡献在于将这一现象从经验观察提升为有因果链的理论解释，为后续架构设计提供了原理性依据。

对生成-理解统一的启示

对于致力于用扩散模型做统一视觉基座的研究者和工程师来说，这项发现有直接的实践指导价值：

• 若希望 DiT 既能生成又能作为优质特征提取器，引入长跳跃连接是一个有原理支撑的设计选择；
• 评估一个扩散骨干的"理解能力"时，架构中噪声与图像信号的传递路径应被纳入考量，而不只是看生成指标；
• 该机制也提示了一种折中思路——在保持 Transformer 优势的前提下，通过结构设计实现信号解耦，兼顾生成与判别。

研究者已开源相关代码（github.com/Darkbblue/dit-lsc），为后续在不同任务和规模上验证这一机制提供了基础。对于关注扩散模型可解释性与多任务统一的从业者，这是一个值得跟进的方向。