待验证50% 置信解决方案精确时间

固定 max-model-len 为 16384 可将 KV Cache 上限减半，原团队测量的真实提示 p99 为 11k token，因此 16k 既留出余量又不至于让池翻倍。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/18

首次发现

有效期至：2027/1/16

来源

GPUStack vLLM生产部署：KV Cache固定与OOM规避实战

涉及实体

vLLMproduct max-model-lenconcept Llama-3.3-70Bmodel

相关事实

已验证KV Cache大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数70% 相似待验证Qwen2.5-Max-0902最大输出为13万Token，推理模式下上限可达26万Token65% 相似待验证在保留集上，8k–16k 词表在所有三种模型规模下 bpb 均最低，2k 词表始终表现最差。65% 相似待验证标出匹配的112形调优表（16个形状×7个T桶）并开启MMQ、Prefill分块后，4-9K的Fresh Prefill从405跃升到701-775 Token/s，约1.8倍提升，解码稳定在52-5564% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1063643

API

curl https://kongchang.com/api/v1/knowledge/claims/1063643

MCP

get_claim(id=1063643)