待验证50% 置信权衡取舍精确时间
CPU offloading 策略将未被激活的专家权重常驻系统内存，仅在被路由器选中时临时加载到 GPU 显存，代价是引入 PCIe 总线传输延迟
1
来源数
50%
置信度
长期有效
时效性
2026/10/4
首次发现
来源
涉及实体
相关事实
待验证模型权重完整驻留在GPU显存中可避免显存换入换出开销，而超过GPU显存容量的模型需要在CPU和GPU之间搬运数据导致延迟显著上升78% 相似待验证GPU 推理速度通常是纯 CPU 的 5-20 倍，当模型太大无法放入显存时部分层会卸载到内存由 CPU 处理（混合运行/partial offload）75% 相似待验证CPU offload将部分Transformer层放在系统主内存由CPU计算，数据通过PCIe总线传输（PCIe 4.0 x16理论带宽约32GB/s），而GPU显存带宽通常在数百到上千GB/s，带宽差距是性能瓶颈的根本原因74% 相似待验证CPU工作负载通常是持续性的，而GPU工作负载往往是突发性的73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/974638API
curl https://kongchang.com/api/v1/knowledge/claims/974638MCP
get_claim(id=974638)