待验证50% 置信概念精确时间
权重卸载（offloading）指把模型的部分层或专家从显存转移到内存、NVMe硬盘等更慢的存储层级，运行时按需换入，会牺牲推理速度。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
涉及实体
相关事实
待验证内存受限通常指显存容量不足，需要通过卸载（offloading）或模型并行来应对78% 相似待验证内存换显存（offload）是低显存环境下运行大型AI模型的核心优化策略，当GPU显存不足时将暂不参与计算的层或张量临时卸载到系统内存77% 相似待验证CPU offloading指将部分模型层从显存移到系统内存，由CPU负责计算，从而突破显存容量限制77% 相似待验证offloading类技术将参数在显存、内存、磁盘之间搬运会带来显著I/O开销，属于带宽受限（bandwidth-bound）推理的根本挑战76% 相似待验证分层存储卸载offloading实践在llama.cpp、DeepSpeed-Inference等工具中已有类似应用74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1091067API
curl https://kongchang.com/api/v1/knowledge/claims/1091067MCP
get_claim(id=1091067)