待验证50% 置信解决方案精确时间
通过计数流式chunk统计吞吐会严重偏低（实测43 tok/s），因为vLLM在投机解码下发送整个被接受的批次（约2.5 token每chunk），正确做法是读取最终chunk的usage.completion_tokens并开启stream_options: include_usage。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证27B参数的Q8_0模型加上vLLM的KV Cache和运行时开销，单个推理服务需要近50GB内存空间67% 相似待验证当并发请求达到150个时，vLLM新版本的系统整体吞吐量可提升至原来的5.3倍66% 相似待验证PagedAttention导致KV cache内存浪费只发生在请求最后一个未填满的块中，vLLM报告浪费不到4%。65% 相似待验证前缀缓存通过复用已计算的KV Cache，可节省50%-80%的prefill阶段计算量，vLLM通过基数树结构实现细粒度缓存命中匹配64% 相似待验证在替换后的模型中，绑定embedding/lm_head矩阵保持bf16，因此每个token实际读取约1.263 GB权重（外加约0.06 GB KV cache），按实际移动字节计算，25.5 tok/s相当于约34 GB/s，约为实测带宽的10%。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1043377API
curl https://kongchang.com/api/v1/knowledge/claims/1043377MCP
get_claim(id=1043377)