概念Memory Offloading / 层卸载
内存卸载
一种大模型推理优化技术，当GPU显存不足以容纳完整模型时，将部分模型层卸载至系统内存或磁盘虚拟内存，推理时按需调入显存计算，以少量显存运行大参数模型
时间轴 (近 90 天)
10月8日
量化与内存卸载叠加使用理论上可在极低显存环境下加载远超容量的模型，但数据搬运会产生额外延迟，实际推理速度往往只有纯显存运行的几分之一
待验证50%
9月29日
内存受限通常指显存容量不足，需要通过卸载（offloading）或模型并行来应对
待验证50%