Unverified50% confidenceSolutionExact time
专家卸载策略将不常激活的专家留在 CPU 内存，路由器选中时才临时搬运至 GPU 显存
1
Sources
50%
Confidence
Long-term
Relevance
7/21/2026
First Seen
Sources
Related Claims
Verifiedllama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存71% similarUnverifiedCPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/270% similarUnverifiedQuantprobe 会动态地在显存与内存约束之间平衡量化等级，将模型权重拆分到 CPU 和 GPU 之间以避免 OOM 错误68% similarUnverifiedLlama.cpp 的 -ngl 参数控制将多少 Transformer 层放到 GPU 显存中运行，若显存不足会自动将放不下的层回退到 CPU 形成混合推理模式67% similarUnverifiedUnsloth能够在消费级GPU上完成原本需要专业级硬件才能进行的模型微调任务67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/577417API
curl https://kongchang.com/api/v1/knowledge/claims/577417MCP
get_claim(id=577417)