待验证50% 置信事实精确时间
在 llama.cpp 中，--n-gpu-layers N 的含义是把模型最靠近输入端的 N 层参数放在 GPU 上运算，剩余层回退到 CPU。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证llama.cpp 支持 CPU+GPU 混合推理，通过 --n-gpu-layers 参数控制卸载到 GPU 的层数，并内置兼容 OpenAI API 格式的 HTTP 服务端76% 相似已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存75% 相似待验证在llama.cpp中，-ngl（number of GPU layers）参数可控制多少层放在GPU上，用于平衡速度和模型规模72% 相似已验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/271% 相似待验证llama.cpp 追求底层控制，从量化类型到 GPU 层数都能手动调整，是嵌入式和边缘部署的首选。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1028883API
curl https://kongchang.com/api/v1/knowledge/claims/1028883MCP
get_claim(id=1028883)