ProtoDiffusion
一种用于多层图形设计生成的扩散模型,通过共享空间原型和每层候选向量将表示压缩到 HW+N 个令牌,支持图像和文本条件生成,可推断图层布局。
时间轴 (近 90 天)
ProtoDiffusion 提出一种多层图像生成表示方法:所有图层共享一张空间原型(spatial prototype),每层只保留一个候选向量(candidate vector),从而将 N 层设计的表示压缩到 HW+N 个令牌(在骨干网络特定的打包之前),而满网格方案需要 NHW 个令牌。
ProtoDiffusion 在紧凑 latent 空间中进行联合去噪,同时去噪共享原型和一组固定数量的候选槽,条件可以是图像或文本,边界框为可选布局引导。
ProtoDiffusion 的候选槽可空置,模型自行决定哪些槽为空,因此图层数量不需要作为输入提供。
ProtoDiffusion 在没有提供边界框的情况下也能推断图层布局,边界框仅作为可选约束而非必需输入。
ProtoDiffusion 的同一套架构同时支持 image-to-design 与 text-to-design 两个任务,无需为两个方向分别设计网络。
在 LayerD 评测集上,ProtoDiffusion 的 image-to-design RGB L1 分数在有边界框时为 0.040,无边界框时为 0.057。
在 LayerD 评测集上,ProtoDiffusion 在框引导下的 alpha soft IoU 为 0.850,与最强微调基线 0.871 相当。
在 LayerD 的文本到设计方向,ProtoDiffusion 在合并图像上的 FID 为 66.41,对比 FLUX.2 [klein] 的 86.84。
ProtoDiffusion 在文本到设计方向的文本准确率分数达到 0.860。
ProtoDiffusion 比同骨干的「先生成再分解」级联方案快 19.1 倍,速度差距主要来源于省去图层分解环节。
还有 3 条时间轴事件
全部知识事实 (13)
ProtoDiffusion 提出一种多层图像生成表示方法:所有图层共享一张空间原型(spatial prototype),每层只保留一个候选向量(candidate vector),从而将 N 层设计的表示压缩到 HW+N 个令牌(在骨干网络特定的打包之前),而满网格方案需要 NHW 个令牌。
50%待验证ProtoDiffusion 在紧凑 latent 空间中进行联合去噪,同时去噪共享原型和一组固定数量的候选槽,条件可以是图像或文本,边界框为可选布局引导。
50%待验证ProtoDiffusion 的候选槽可空置,模型自行决定哪些槽为空,因此图层数量不需要作为输入提供。
50%待验证ProtoDiffusion 在没有提供边界框的情况下也能推断图层布局,边界框仅作为可选约束而非必需输入。
50%待验证ProtoDiffusion 的同一套架构同时支持 image-to-design 与 text-to-design 两个任务,无需为两个方向分别设计网络。
50%待验证在 LayerD 评测集上,ProtoDiffusion 的 image-to-design RGB L1 分数在有边界框时为 0.040,无边界框时为 0.057。
50%待验证在 LayerD 评测集上,ProtoDiffusion 在框引导下的 alpha soft IoU 为 0.850,与最强微调基线 0.871 相当。
50%待验证在 LayerD 的文本到设计方向,ProtoDiffusion 在合并图像上的 FID 为 66.41,对比 FLUX.2 [klein] 的 86.84。
50%待验证ProtoDiffusion 在文本到设计方向的文本准确率分数达到 0.860。
50%待验证ProtoDiffusion 比同骨干的「先生成再分解」级联方案快 19.1 倍,速度差距主要来源于省去图层分解环节。
50%待验证现有级联式多层生成方案(先整图生成再分解图层)的误差会在两个阶段累积,而 ProtoDiffusion 在单一模型内联合建模所有图层,图层间的空间对齐由共享原型天然约束。
50%待验证ProtoDiffusion 的共享原型假设所有图层共享同一套空间结构先验,对于图层间空间分布差异极大的设计,这种共享是否充分尚需更多场景验证。
50%待验证固定数量的候选槽意味着超长图层设计需要依赖槽位复用或扩展策略。
50%