MiniDog
MiniDog 是一个在消费级硬件(4× RTX 3090)上训练的轻量级文生图扩散 Transformer 模型,参数量仅 2200 万,支持从零预训练和微调,用于生成特定犬种图像。
时间轴 (近 90 天)
MiniDog 项目在四块 RTX 3090 上可完成文生图扩散 Transformer 的训练:预训练 55 分钟,微调 15 分钟。
MiniDog 的 transformer 主干仅有 2200 万参数,远小于主流文生图模型通常的十亿级参数量。
MiniDog 预训练使用 ImageNet 中 26000 张狗的图像,并为其生成文本描述。
MiniDog 微调使用 FLUX.1-schnell 生成的 2000 张图像,属于合成数据微调。
MiniDog 采用 E2E-INVAE,因其语义潜空间比常规 VAE 携带更多可解释结构信息。
MiniDog 的文本编码使用小型 Qwen 模型,配合 in-context conditioning 做条件注入。
MiniDog 在训练加速方面引入了 iREPA 和 EUPE 感知编码器。
MiniDog 的评估环节覆盖 FID、HPSv2、PickScore 以及多种 VAE 重建指标。
MiniDog 项目代码和评估工具已开源。
全部知识事实 (9)
MiniDog 项目在四块 RTX 3090 上可完成文生图扩散 Transformer 的训练:预训练 55 分钟,微调 15 分钟。
50%待验证MiniDog 的 transformer 主干仅有 2200 万参数,远小于主流文生图模型通常的十亿级参数量。
50%待验证MiniDog 预训练使用 ImageNet 中 26000 张狗的图像,并为其生成文本描述。
50%待验证MiniDog 微调使用 FLUX.1-schnell 生成的 2000 张图像,属于合成数据微调。
50%待验证MiniDog 采用 E2E-INVAE,因其语义潜空间比常规 VAE 携带更多可解释结构信息。
50%待验证MiniDog 的文本编码使用小型 Qwen 模型,配合 in-context conditioning 做条件注入。
50%待验证MiniDog 在训练加速方面引入了 iREPA 和 EUPE 感知编码器。
50%待验证MiniDog 的评估环节覆盖 FID、HPSv2、PickScore 以及多种 VAE 重建指标。
50%待验证MiniDog 项目代码和评估工具已开源。
50%