SpecSlot：解耦细节与全局注意力的像素生成Transformer

像素空间生成 Transformer 通常为每个图像块分配一个 token，因此要捕捉更精细的细节就需要更多 token，而全局注意力的开销也随之急剧上升。一篇新论文提出 SpecSlot，通过将低频全局结构与高频局部细节解耦，在不扩大全局注意力序列的前提下提升生成细节。

核心洞察：细节不必依赖全局通信

论文作者观察到一个关键事实：更精细的细节并不必然需要更多的全局通信。低频结构（如物体的整体轮廓、大块颜色分布）受益于全局信息交换，而高频细节（如纹理、边缘）可以在局部建模。这一洞察挑战了“更多 token 等于更好细节”的默认假设，为像素空间生成模型的设计提供了新方向。

基于此，SpecSlot 将输出细节与全局注意力序列的长度解耦，让模型能够独立控制空间锚点密度和频谱细分程度。

DCT（离散余弦变换） 是一种将图像块从空间域变换到频率域的线性正交变换，把信号分解为不同频率的余弦波叠加。在图像压缩（如 JPEG）中，DCT 系数按从低频到高频排列：低频系数携带整体亮度与大尺度结构，高频系数对应边缘和纹理。SpecSlot 正是利用这一性质，将每个空间锚点的特征表示为若干不相交的 DCT 频带，让不同槽组分别建模不同频率成分。这样，频率分解本身就提供了一种天然的信息分层，使模型可以显式控制哪些频率成分参与全局通信、哪些只在局部处理，而不必依赖增加 token 数量来提升细节。

SpecSlot 如何工作：读、分配、路由

SpecSlot 是一个像素空间 rectified-flow Transformer。它把每个空间锚点扩展成多个槽（slot），每个槽负责一组不相交的 DCT 系数频带。这种设计将锚点密度与频谱细分分开：锚点决定空间位置，槽决定该位置上的频率细节。

全局注意力只处理最低频槽

每个锚点中只有最低频的槽参与全局注意力，所有槽则在局部进行交互。这意味着，即使模型增加频谱细节（即增加槽的数量），全局注意力序列的长度也不会膨胀。全局通信始终聚焦于低频结构，而高频细节由局部交互处理，从而在保持全局注意力高效的同时提升生成细节。

全局注意力与局部交互的计算差异 值得说明：标准自注意力的计算复杂度与序列长度呈二次关系，因此序列翻倍会使注意力开销约变为四倍。这正是像素空间 Transformer 难以靠增加 token 提升细节的根本原因。局部交互（如窗口注意力或邻域卷积）的复杂度通常与 token 数呈线性关系，代价低得多。SpecSlot 让最低频槽承担全局注意力、其余槽只做局部交互，相当于把昂贵的二次开销限制在一个固定的短序列上，而把新增的频谱槽放进廉价的局部分支，从架构层面切断了“细节增加”与“全局开销膨胀”之间的耦合。

空间头添加局部校正

模型还引入一个空间头，在频谱预测的基础上添加局部校正。生成状态、目标和损失函数始终保持在像素空间，避免了潜在空间方法中常见的重建误差和语义漂移问题。

像素空间生成与潜在空间生成的取舍：潜在空间方法（如 Stable Diffusion 所用的 VAE）先训练编码器把图像压缩到低维潜在表示，再在潜在空间做扩散或流匹配，推理时由解码器还原像素。这样做能大幅降低计算量，但编码—解码过程会引入重建误差，且潜在空间缺乏明确的语义约束时容易出现语义漂移。像素空间方法直接在图像上建模，没有编解码损失，保真度上限更高，代价是序列更长、计算更重。SpecSlot 选择留在像素空间，并用频谱解耦来缓解效率问题，实际上是在两条路线之间寻找兼顾保真与效率的第三条路径。

实验结果：更少算力，更好效果

论文在多个基准上验证了 SpecSlot 的有效性。

在 ImageNet-256 上，SpecSlot 的最终 FID 与 FLOPs 匹配的 JiT 对照组相当，但收敛速度更快。

在 ImageNet-512 上，SpecSlot 相比对照组将 FID 改善了 2.84，同时 FLOPs 减少了 3.9%。更有意思的是，它与 JiT-B/16 的 FID 差距仅为 0.69，而计算成本低 38.2%。

在文本到图像生成任务上，SpecSlot 在 DPG-Bench 上以低 40.6% 的前向成本超越了 JiT-B/8，领先幅度为 1.06。这些结果表明，SpecSlot 在保持生成质量的同时显著降低了计算开销。

FID 与 FLOPs 匹配对照 是评估生成模型效率的常用范式。FID（Fréchet Inception Distance）衡量生成分布与真实分布的距离，数值越低表示生成质量越接近真实图像；FLOPs 则近似反映单次前向的计算量。公平比较要求两组模型的计算预算大致相同，否则更快收敛可能只是算力堆叠的结果。文中“FLOPs 匹配的 JiT 对照组”即指计算量对齐的基线，而“以低 40.6% 的前向成本超越”则说明 SpecSlot 在更少计算下取得更优指标，这类比较比单纯比较同等算力下的质量更能体现架构效率的提升。

意义与展望

SpecSlot 的提出为像素空间生成 Transformer 的效率问题提供了一种优雅的解决思路：不是所有细节都需要全局注意力。通过角色耦合的 tokenization 策略——低频槽负责全局、高频槽负责局部——模型可以在不增加全局序列长度的情况下提升生成细节。

这一思路可能启发更多关于注意力分配和 token 角色设计的研究，尤其是在高分辨率图像生成和视频生成等对计算效率敏感的领域。论文标题中的“读、分配、路由”精准概括了其方法：读取空间锚点，分配频谱槽，路由全局与局部交互。

随着生成模型对细节和效率的要求不断提升，SpecSlot 这类解耦设计有望成为像素空间生成架构的重要演进方向。