扩散动力学驱动的Token合并：DaTMe加速图像生成

引言：扩散模型加速的新思路

扩散模型在图像生成领域取得了令人瞩目的成果，但其迭代去噪过程带来的计算开销始终是实际部署的瓶颈。Token 合并作为一种无需训练的加速策略，通过减少冗余 token 的计算量来提升推理速度，同时尽量保持生成质量。然而，哪些 token 可以安全合并、哪些必须保留，一直是这一方向的核心难题。

现有方法通常依赖文本相关性来保护前景区域，却忽视了背景物体和 prompt 未提及的局部细节，导致结构连贯性下降。针对这一局限，研究者提出了 Dynamics-aware Token Merging（DaTMe），将 token 合并决策建立在扩散过程本身的动力学之上。

扩散模型（Diffusion Model） 是一类生成模型，其核心思想是通过逐步向数据中加入噪声（前向过程）将数据破坏为近似高斯噪声，再学习一个反向去噪过程，从纯噪声出发逐步恢复出目标数据。在图像生成中，这一过程通常需要数十甚至上百个采样步，每一步都要对整个模型进行一次前向计算。由于每步计算都需处理图像对应的全部 token（即图像的 patch 或潜在表示单元），推理成本随步数和 token 数迅速增长。因此，减少每步参与计算的 token 数量，成为在不重新训练模型的前提下加速扩散推理的重要方向，这也是 token 合并策略受到关注的直接原因。

现有方法的局限：文本相关性不够用

当前主流的 token 合并策略以 prompt 对齐作为重要性判据，把与文本语义相关的前景区域保留下来，将其余 token 视为可合并对象。这种做法在语义层面是合理的，但存在两个明显问题。

其一，背景中的物体和结构往往未被 prompt 明确提及，却对图像的整体空间布局至关重要。其二，边界、纹理等高频局部细节虽然在文本上不可见，却直接影响视觉保真度。仅仅依赖文本相关性，会导致这些区域被过早合并，生成结果出现结构断裂或细节模糊。

这说明 token 的重要性不能只从语义对齐角度判断，还需要引入与去噪过程本身相关的信号。

DaTMe 的核心洞察：用扩散动力学定义 token 重要性

DaTMe 的关键假设是：一个 token 是否重要，取决于两件事——它在去噪过程中是否仍然处于未收敛状态，以及它是否携带结构信息。

基于这一假设，DaTMe 从 Tweedie 去噪估计中构建了一张动力学感知的重要性图。该图融合了两类信号：

• 时间信号：衡量相邻步骤之间预测干净图像的变化程度，变化大的 token 说明尚未稳定；
• 结构信号：捕捉边界和精细细节等局部高频内容。

两类信号结合后，token 的重要性不再依赖文本标注，而是由扩散过程自身的动态行为决定。这一视角跳出了“文本对齐即可靠”的惯性思维，把合并决策与生成过程的物理意义绑定在一起。

Tweedie 去噪估计 是扩散模型理论中的一个经典结果：在给定当前噪声图像和噪声水平的情况下，可以通过模型预测的噪声反推出对干净图像的条件期望，也就是对原始图像的一个估计。这一估计在采样过程中天然可得，无需额外训练或额外网络。DaTMe 正是利用 Tweedie 估计来观察去噪过程的动态：如果某个 token 在相邻采样步之间对应的干净图像估计变化剧烈，说明它尚未收敛、仍在参与结构生成；反之则趋于稳定。通过比较相邻步之间的估计差异，就可以在无需文本标注的情况下为每个 token 计算一个“未收敛程度”信号，这是动力学感知重要性图的关键来源之一。

自适应合并策略：锚点与安全候选

在给定压缩比的前提下，DaTMe 根据重要性图将 token 自适应地分配为不同角色。重要 token 被保留为锚点（anchors），参与后续计算；而那些在时间上已经稳定、且在结构上表现均匀的 token，则被选为安全合并候选。

这种角色划分的好处在于，它同时兼顾了去噪进度和空间结构。稳定的 token 不会因为合并而破坏正在形成的结构，而同质区域中的冗余计算则被有效削减。相比静态的合并规则，这种动态分配更能适应不同采样步和不同图像区域的需求。

Token 合并 是指将多个表示相近或重要性较低的 token 按某种规则合并为一个，从而减少后续注意力或前馈网络需要处理的 token 数量。合并本身会丢失部分信息，因此策略的关键在于选择哪些 token 可以合并。常见的合并依据包括特征相似度、注意力分数或文本相关性。DaTMe 所采用的“锚点”机制借鉴了图聚类中的代表点思路：被选为锚点的 token 作为合并后保留的代表，其余安全候选则被归并到锚点上。由于锚点由动力学重要性图动态决定，同一次采样中不同步、不同区域可能选择不同的锚点集合，从而在压缩的同时尽量保留正在形成的结构信息。

实验结果：PixArt-a 与 FLUX 上的验证

研究者在 PixArt-a 和 FLUX 两个扩散模型上进行了实验。结果显示，DaTMe 能够在整幅图像范围内维持视觉保真度，而不仅仅保护前景区域。这意味着背景结构和局部细节得到了更好的保留，生成质量的下降被控制在较小范围内。

这一结果也支持了论文的核心论点：扩散动力学可以作为 token 级合并决策的有效依据。当合并策略与去噪过程的内在动态对齐时，加速与质量之间的权衡可以做得更好。

对于关注推理效率的开发者而言，DaTMe 提供了一条无需重新训练、可直接插入现有扩散管线的加速路径。其代码已在 GitHub 上开源，便于社区复现和进一步扩展。

PixArt-a 与 FLUX 是两种具有代表性的扩散生成模型。PixArt-a 属于基于 Transformer 的扩散模型系列，以较低训练成本实现高质量图像生成；FLUX 则采用较大的 Transformer 架构与流匹配式训练目标，在细节和文本对齐方面表现突出。两者在架构规模、采样器设计和潜在空间表示上均有差异，因此常被用来检验加速方法是否具有跨模型的通用性。DaTMe 在二者上均能维持整图视觉保真度，说明其依赖的扩散动力学信号并非某一模型的特有现象，而具有一定的普适性，这也是该工作能够直接插入现有扩散管线而无需重训的重要前提。

结语

DaTMe 的价值不仅在于提出了一种新的合并准则，更在于它重新定义了“token 重要性”的来源——从文本相关性转向扩散动力学。这一思路或许会启发更多围绕生成过程动态特性的加速方法，让高效图像生成不再以牺牲细节为代价。