待验证50% 置信解决方案精确时间
首次生成慢、后续快的现象源于GPU计算图编译与缓存机制，第一次运行需将计算图编译为适配硬件的底层指令，结果缓存后后续可复用
1
来源数
50%
置信度
长期有效
时效性
2026/9/25
首次发现
来源
涉及实体
相关事实
待验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/275% 相似待验证CPU的设计哲学是减少延迟，配备多级缓存、乱序执行引擎和分支预测器；GPU的设计哲学是隐藏延迟，通过同时调度大量线程实现75% 相似待验证传统推理将 Prefill 阶段和 Decode 阶段放在同一组 GPU 上串行执行，导致两类工作负载互相干扰，GPU 利用率难以最优化74% 相似待验证对于批量图像处理等高度可并行化任务，GPU 并行计算的速度可以比 CPU 快一到两个数量级74% 相似待验证混合卸载机制的代价是生成速度会慢于纯 GPU 模式74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/950909API
curl https://kongchang.com/api/v1/knowledge/claims/950909MCP
get_claim(id=950909)