Unverified50% confidenceFactExact time
当模型权重和 KV Cache 无法完全载入 GPU 显存时需将部分数据交换到主内存（offloading），会使推理速度下降一到两个数量级
1
Sources
50%
Confidence
Long-term
Relevance
9/10/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedGPU 推理速度通常是纯 CPU 的 5-20 倍，当模型太大无法放入显存时部分层会卸载到内存由 CPU 处理（混合运行/partial offload）80% similarUnverifiedGPU 在大模型推理时的核心瓶颈是内存带宽，自回归生成每个 Token 需从 HBM 加载完整 KV Cache，计算利用率通常不到 5%78% similarUnverified自回归推理是memory-bound（内存带宽受限）问题，因为batch size通常为1时算术强度极低，GPU大部分时间在等待数据搬运76% similarUnverified模型权重不能把显存占满，必须为 KV 缓存和推理过程预留空间，128K 上下文所需的 KV 缓存可能高达数 GB 甚至超过模型权重本身75% similarUnverified研究《Accelerating Block Low-Rank Foundation Model Inference on Memory-Constrained GPUs》提出基于块低秩分解的方案压缩内存并加速推理75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/888668API
curl https://kongchang.com/api/v1/knowledge/claims/888668MCP
get_claim(id=888668)