概念offloading
权重卸载
将模型的部分层或专家从显存转移到内存、硬盘等更慢存储层级、运行时按需换入的技术，用于降低显存占用但牺牲推理速度
时间轴 (近 90 天)
10月23日
权重卸载（offloading）指把模型的部分层或专家从显存转移到内存、NVMe硬盘等更慢的存储层级，运行时按需换入，会牺牲推理速度。
待验证50%
将模型的部分层或专家从显存转移到内存、硬盘等更慢存储层级、运行时按需换入的技术，用于降低显存占用但牺牲推理速度
权重卸载（offloading）指把模型的部分层或专家从显存转移到内存、NVMe硬盘等更慢的存储层级，运行时按需换入，会牺牲推理速度。