[控场AI]
论文

InstantFusion

一项提出轻量级共享潜空间接口的研究,通过模型专属潜自编码器(LAE)和双重对齐约束,实现异构图像生成模型(扩散模型与流匹配模型)之间的去噪轨迹互通与协作

时间轴 (近 90 天)

10月12日

InstantFusion研究发现,即便是独立训练、彼此无关的生成器,也会展现出相似的潜空间组织结构

待验证50%
10月12日

直接把一个模型的中间去噪状态交接给另一个未经对齐的模型,仍能保留图像的粗略视觉内容

待验证50%
10月12日

InstantFusion是一个轻量级的共享潜空间接口,用于连接异构图像生成器的去噪轨迹

待验证50%
10月12日

InstantFusion为每个生成器引入模型专属的潜自编码器(LAE),将中间状态投影到共享潜空间并解码回目标生成器所需的潜空间格式

待验证50%
10月12日

InstantFusion通过状态对齐和速度同步两个互补的训练目标来约束共享潜空间

待验证50%
10月12日

仅对齐某一时刻的中间状态不足以保证接力后去噪轨迹方向一致,速度同步约束相当于同时对齐轨迹的位置与切线方向

待验证50%
10月12日

InstantFusion训练完成后无需改动任何原始生成器的权重,所有参与协作的模型保持冻结状态

待验证50%
10月12日

论文通过加速、多偏好组合、跨架构在线策略蒸馏、跨模型组合四类任务验证InstantFusion的通用性,并取得具有竞争力的表现

待验证50%
10月12日

InstantFusion的共享接口使跨架构在线策略蒸馏成为可能,让教师模型(如大型DiT)与学生模型(如轻量UNet)在共享潜空间中交换中间状态

待验证50%
10月12日

论文展示的是研究阶段成果,其在大规模模型、复杂提示下的鲁棒性还有待后续工作验证

待验证50%

全部知识事实 (10)

来源文章