SpecSlot
一种像素空间 rectified-flow Transformer,通过 DCT 频带解耦将空间锚点与频谱细分分离,仅最低频槽参与全局注意力,高频细节由局部交互处理,从而在提升生成细节的同时控制全局注意力开销。
时间轴 (近 90 天)
SpecSlot 是一种像素空间 rectified-flow Transformer,它将每个空间锚点扩展成多个槽(slot),每个槽负责一组不相交的 DCT 系数频带,从而将锚点密度与频谱细分解耦。
在 SpecSlot 中,每个锚点只有最低频的槽参与全局注意力,所有槽则在局部进行交互,因此增加频谱细节(槽的数量)不会导致全局注意力序列长度膨胀。
SpecSlot 引入一个空间头,在频谱预测的基础上添加局部校正,生成状态、目标和损失函数始终保持在像素空间。
在 ImageNet-256 上,SpecSlot 的最终 FID 与 FLOPs 匹配的 JiT 对照组相当,但收敛速度更快。
在 ImageNet-512 上,SpecSlot 相比对照组将 FID 改善了 2.84,同时 FLOPs 减少了 3.9%。
在 ImageNet-512 上,SpecSlot 与 JiT-B/16 的 FID 差距仅为 0.69,而计算成本低 38.2%。
在文本到图像生成任务上,SpecSlot 在 DPG-Bench 上以低 40.6% 的前向成本超越了 JiT-B/8,领先幅度为 1.06。
论文作者观察到,更精细的细节并不必然需要更多的全局通信;低频结构受益于全局信息交换,而高频细节可以在局部建模。
全部知识事实 (8)
SpecSlot 是一种像素空间 rectified-flow Transformer,它将每个空间锚点扩展成多个槽(slot),每个槽负责一组不相交的 DCT 系数频带,从而将锚点密度与频谱细分解耦。
50%待验证在 SpecSlot 中,每个锚点只有最低频的槽参与全局注意力,所有槽则在局部进行交互,因此增加频谱细节(槽的数量)不会导致全局注意力序列长度膨胀。
50%待验证SpecSlot 引入一个空间头,在频谱预测的基础上添加局部校正,生成状态、目标和损失函数始终保持在像素空间。
50%待验证在 ImageNet-256 上,SpecSlot 的最终 FID 与 FLOPs 匹配的 JiT 对照组相当,但收敛速度更快。
50%待验证在 ImageNet-512 上,SpecSlot 相比对照组将 FID 改善了 2.84,同时 FLOPs 减少了 3.9%。
50%待验证在 ImageNet-512 上,SpecSlot 与 JiT-B/16 的 FID 差距仅为 0.69,而计算成本低 38.2%。
50%待验证在文本到图像生成任务上,SpecSlot 在 DPG-Bench 上以低 40.6% 的前向成本超越了 JiT-B/8,领先幅度为 1.06。
50%待验证论文作者观察到,更精细的细节并不必然需要更多的全局通信;低频结构受益于全局信息交换,而高频细节可以在局部建模。
50%