概念统一内存推理 / 显存内存混合推理

CPU Offloading

一种大模型部署策略，将模型权重按层分配在GPU显存与系统内存之间，推理时按需搬运，以突破单卡显存限制实现超大模型的本地运行

来源文章