待验证50% 置信事实精确时间

传统静态批处理需等所有请求完成才处理下一批，导致GPU资源空转浪费

1

来源数

50%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

vLLM推理框架详解：吞吐优化核心原理与面试攻略

bilibiliAI大模型升升2026/6/9

相关事实

待验证CPU工作负载通常是持续性的，而GPU工作负载往往是突发性的69% 相似待验证上下文越长，需要存储和检索的KV Cache越大，GPU显存消耗呈线性增长65% 相似待验证传统KV缓存实现预先分配最大长度连续显存块，导致平均60%-80%的预分配内存被浪费64% 相似已验证连续批处理（Continuous Batching）将GPU利用率从静态批处理的30-50%提升到接近100%63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/488195

API

curl https://kongchang.com/api/v1/knowledge/claims/488195

MCP

get_claim(id=488195)