InstantFusion
一项提出轻量级共享潜空间接口的研究,通过模型专属潜自编码器(LAE)和双重对齐约束,实现异构图像生成模型(扩散模型与流匹配模型)之间的去噪轨迹互通与协作
时间轴 (近 90 天)
InstantFusion研究发现,即便是独立训练、彼此无关的生成器,也会展现出相似的潜空间组织结构
直接把一个模型的中间去噪状态交接给另一个未经对齐的模型,仍能保留图像的粗略视觉内容
InstantFusion是一个轻量级的共享潜空间接口,用于连接异构图像生成器的去噪轨迹
InstantFusion为每个生成器引入模型专属的潜自编码器(LAE),将中间状态投影到共享潜空间并解码回目标生成器所需的潜空间格式
InstantFusion通过状态对齐和速度同步两个互补的训练目标来约束共享潜空间
仅对齐某一时刻的中间状态不足以保证接力后去噪轨迹方向一致,速度同步约束相当于同时对齐轨迹的位置与切线方向
InstantFusion训练完成后无需改动任何原始生成器的权重,所有参与协作的模型保持冻结状态
论文通过加速、多偏好组合、跨架构在线策略蒸馏、跨模型组合四类任务验证InstantFusion的通用性,并取得具有竞争力的表现
InstantFusion的共享接口使跨架构在线策略蒸馏成为可能,让教师模型(如大型DiT)与学生模型(如轻量UNet)在共享潜空间中交换中间状态
论文展示的是研究阶段成果,其在大规模模型、复杂提示下的鲁棒性还有待后续工作验证
全部知识事实 (10)
InstantFusion研究发现,即便是独立训练、彼此无关的生成器,也会展现出相似的潜空间组织结构
50%待验证直接把一个模型的中间去噪状态交接给另一个未经对齐的模型,仍能保留图像的粗略视觉内容
50%待验证InstantFusion是一个轻量级的共享潜空间接口,用于连接异构图像生成器的去噪轨迹
50%待验证InstantFusion为每个生成器引入模型专属的潜自编码器(LAE),将中间状态投影到共享潜空间并解码回目标生成器所需的潜空间格式
50%待验证InstantFusion通过状态对齐和速度同步两个互补的训练目标来约束共享潜空间
50%待验证仅对齐某一时刻的中间状态不足以保证接力后去噪轨迹方向一致,速度同步约束相当于同时对齐轨迹的位置与切线方向
50%待验证InstantFusion训练完成后无需改动任何原始生成器的权重,所有参与协作的模型保持冻结状态
50%待验证论文通过加速、多偏好组合、跨架构在线策略蒸馏、跨模型组合四类任务验证InstantFusion的通用性,并取得具有竞争力的表现
50%待验证InstantFusion的共享接口使跨架构在线策略蒸馏成为可能,让教师模型(如大型DiT)与学生模型(如轻量UNet)在共享潜空间中交换中间状态
50%待验证论文展示的是研究阶段成果,其在大规模模型、复杂提示下的鲁棒性还有待后续工作验证
50%