待验证50% 置信事实精确时间
Llama.cpp 的 -ngl 参数控制将多少 Transformer 层放到 GPU 显存中运行，若显存不足会自动将放不下的层回退到 CPU 形成混合推理模式
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30
来源
Llama.cpp Windows本地部署教程：免编译三步运行大模型
bilibili乐优科技2026/5/29
相关事实
待验证RNN 必须按时间步顺序处理输入，无法充分利用现代 GPU 的并行计算能力，这是 Transformer 取代它的根本原因74% 相似待验证主流Transformer架构通过KV Cache机制避免重复计算已处理的Token73% 相似待验证在llama.cpp中，-ngl（number of GPU layers）参数可控制多少层放在GPU上，用于平衡速度和模型规模73% 相似待验证大模型每生成一个Token需要在GPU上执行大量矩阵乘法运算，这是Transformer架构注意力机制的核心计算步骤72% 相似已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/46635API
curl https://kongchang.com/api/v1/knowledge/claims/46635MCP
get_claim(id=46635)