diffusers
Hugging Face 推出的扩散模型库,用于图像和视频生成,支持 CPU offload 等内存优化技术。
核心事实
时间轴 (近 90 天)
作者在同一台 Mac 上用 1024×1024 分辨率跑 Qwen-Image-2.1 实测时,进程 footprint 从未超过 18.5 GB,但去噪阶段 swap 增长 3.5 GB,VAE 解码阶段增长 9.6 GB,最终内存守卫在写出图像前主动终止了运行。
diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。
在一次 Qwen-Image-2.1 使用 diffusers 模型 CPU offload 的运行中,48 GB M5 Pro 上的足迹从未超过 18.5 GB,而交换空间增长了 9.6 GB
遇到显存溢出错误时可采用量化(fp8/nf4检查点)、模型卸载(diffusers库启用device_map=auto)、分块生成等策略
包含PR #14950的diffusers已随0.41.0版本发布到PyPI,可直接pip install "diffusers>=0.41.0"运行Turbo
单独设置num_inference_steps不会覆盖Turbo已保存的调度表,必须显式传入sigmas参数才能改变步数
Hugging Face 推出了 transformers、datasets、diffusers 等一系列配套开源库
全部知识事实 (8)
Hugging Face 推出了 transformers、datasets、diffusers 等一系列配套开源库
75%已验证diffusers是Hugging Face维护的开源Python库,专门用于加载和运行各类扩散模型与流匹配模型
65%待验证diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。
50%待验证在一次 Qwen-Image-2.1 使用 diffusers 模型 CPU offload 的运行中,48 GB M5 Pro 上的足迹从未超过 18.5 GB,而交换空间增长了 9.6 GB
50%待验证遇到显存溢出错误时可采用量化(fp8/nf4检查点)、模型卸载(diffusers库启用device_map=auto)、分块生成等策略
50%待验证单独设置num_inference_steps不会覆盖Turbo已保存的调度表,必须显式传入sigmas参数才能改变步数
50%待验证作者在同一台 Mac 上用 1024×1024 分辨率跑 Qwen-Image-2.1 实测时,进程 footprint 从未超过 18.5 GB,但去噪阶段 swap 增长 3.5 GB,VAE 解码阶段增长 9.6 GB,最终内存守卫在写出图像前主动终止了运行。
50%待验证包含PR #14950的diffusers已随0.41.0版本发布到PyPI,可直接pip install "diffusers>=0.41.0"运行Turbo
50%