概念CPU offload / model cpu offload
enable_model_cpu_offload
diffusers库中的内存优化策略,将模型保留在CPU内存中,仅在推理运行时按需移动到GPU,以降低VRAM占用
时间轴 (近 90 天)
10月13日
diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。
待验证50%
diffusers库中的内存优化策略,将模型保留在CPU内存中,仅在推理运行时按需移动到GPU,以降低VRAM占用
diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。