像素扩散Transformer设计空间再思考：MFlow与ConvRefiner

像素空间扩散模型近期重新成为潜在扩散的有力替代方案，它避开了有损的潜在瓶颈和单独训练的自编码器。此前JiT工作表明，一个朴素的扩散Transformer只需将常用的速度预测（u-prediction）替换为干净图像预测（x0-prediction），就能直接在像素空间生成图像。这项新研究重新审视了这一选择，并提出了MFlow——一种自适应参数化方法，它学习在数据的主方向上于x0预测和u预测之间进行插值，并与扩散训练端到端联合学习。

参数化选择并非一成不变

研究团队发现，最优参数化方式会随数据表示和模型容量系统性地变化。一个关键观察是：随着模型容量增加，偏好会向速度预测偏移。这意味着在小模型上表现更好的x0预测，未必在更大模型上依然最优。MFlow的价值在于它不需要人工预设这一选择，而是让模型在训练中自适应地学习插值权重。

跨场景验证

作者在ImageNet、UCF-101视频以及大规模文本到图像生成任务上评估了MFlow，结果显示在多种设置下都能取得有竞争力或更优的生成性能。这表明自适应参数化不是针对单一基准的调优技巧，而是一种具有泛化性的设计原则。

x0预测与u预测的区别：在扩散模型中，网络需要预测某个目标来指导去噪。x0预测指网络直接估计干净图像（即去噪终点），而u预测（速度预测）则估计从当前噪声图像到干净图像的“速度”向量，两者在数学上可相互转换。x0预测的损失对高噪声时刻更敏感，因为此时预测干净图像本身很难；u预测则在各个噪声水平上提供更均衡的梯度信号。早期工作发现x0预测在小模型上更稳定，但随着模型容量增大，u预测能更充分地利用网络表达能力。MFlow的核心正是让模型学习一个插值系数，在两种参数化之间平滑过渡，而非人为二选一。

高频缺陷：像素扩散的隐藏短板

研究还揭示了一个独立于参数化选择的问题：无论采用哪种预测方式，朴素像素扩散Transformer生成的图像相对于真实图像都存在持续的高频信息缺失。这一缺陷在视觉上可能表现为细节模糊或纹理不够锐利，而传统的FID指标未必能充分反映这一点。

ConvRefiner：冻结主干的后处理修补

为应对高频缺失，作者引入了ConvRefiner——一个轻量级卷积模块。其训练方式颇为巧妙：在扩散主干完全冻结的前提下，以对抗损失对ConvRefiner进行事后训练。只需少量额外训练，ConvRefiner就能恢复生成图像的高频统计特性，同时保持FID不下降。这种"冻结主干+轻量后处理"的思路，为扩散模型的后处理优化提供了一个低成本范式。

FID指标的局限：FID（Fréchet Inception Distance）通过预训练Inception网络提取特征来比较生成分布与真实分布，对语义和整体结构较为敏感，但对高频细节（如锐利边缘、细纹理）的差异不敏感。因此，生成图像可能在视觉上显得模糊或“过于平滑”，而FID分数却依然良好。高频信息缺失通常表现为图像频谱中高波数成分能量不足，这与扩散模型在像素空间直接建模时对局部细节的回归平均效应有关。ConvRefiner的对抗训练正是为了在特征统计层面拉近高频分布，而不仅仅是优化FID。

对像素扩散路线的启示

这项工作传递出两个层面的信息。在参数化层面，x0预测与u预测之间不存在普适的最优解，模型容量和数据特性共同决定了偏好方向，自适应插值比固定选择更稳健。在架构层面，像素扩散Transformer的高频缺陷提示我们，单纯扩大模型或调整预测目标并不足以弥合与真实图像的统计差距，针对性的后处理模块仍有其独立价值。

项目网页已公开，包含更多实现细节与可视化结果，可供研究者进一步复现与比较。