待验证50% 置信解决方案精确时间
专家卸载策略将不常激活的专家留在 CPU 内存，路由器选中时才临时搬运至 GPU 显存
1
来源数
50%
置信度
长期有效
时效性
2026/7/21
首次发现
来源
相关事实
已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存71% 相似待验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/270% 相似待验证Quantprobe 会动态地在显存与内存约束之间平衡量化等级，将模型权重拆分到 CPU 和 GPU 之间以避免 OOM 错误68% 相似待验证Llama.cpp 的 -ngl 参数控制将多少 Transformer 层放到 GPU 显存中运行，若显存不足会自动将放不下的层回退到 CPU 形成混合推理模式67% 相似待验证Unsloth能够在消费级GPU上完成原本需要专业级硬件才能进行的模型微调任务67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/577417API
curl https://kongchang.com/api/v1/knowledge/claims/577417MCP
get_claim(id=577417)