待验证50% 置信基准精确时间
vLLM 的双向 KV 传输在 Qwen3-32B 上把 24k token 场景的 TTFT 从 778ms 降到 460ms，约 1.6 倍提升。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证通过 request-owned speculative KV，在 DeepSeek-V4-Pro 1P1D、MI355X、并发 256 场景下，平均 TTFT 从 19.4 秒降至 15.1 秒74% 相似待验证Qwen 27B的Q4_K_M/GGUF版本在同一台机器上解码速度约为10.7 tok/s，约为MLX版本的1/3.870% 相似待验证主流开源多模态模型上下文长度通常在4K到32K之间，LLaVA-1.5为4096 token，Qwen-VL为8192 token，InternVL2扩展到32K70% 相似待验证在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。69% 相似待验证一位B70用户使用 vLLM + GPT-Q INT4 量化、MTP 深度4，在27B模型上跑出 84.6 tokens/s，但只支持单流且用了不同量化无法直接对比69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1026256API
curl https://kongchang.com/api/v1/knowledge/claims/1026256MCP
get_claim(id=1026256)