待验证50% 置信基准精确时间
并发请求会放大缓存槽位需求，导致 LRU 淘汰更频繁，T4 上四请求并发总吞吐 37.0 tokens/s，低于单请求的 43.2 tokens/s，命中率从 95.7% 降至 92.3%。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/18
首次发现
有效期至：2026/11/1
来源
涉及实体
相关事实
待验证在 T4 上，--fit + 10% 缓存达到 23.6 tokens/s，命中率 75.6%；仅 --cpu-moe 为 9.6 tokens/s；--cpu-moe + 50 MiB 缓存仅 3.8 tokens/s。71% 相似待验证Strata 的多用户并发采用并行槽位机制，槽位不使用投机解码，导致单用户速度从 144 降至 38 tokens/s70% 相似待验证32 个请求共用同一段 4k token 系统提示词时，Superfluid 的前缀缓存命中率达到 97%，与 Ollama 持平，而 mlx_lm.server 为 0%。67% 相似待验证PagedAttention导致KV cache内存浪费只发生在请求最后一个未填满的块中，vLLM报告浪费不到4%。67% 相似待验证256K 前缀已缓存、4 个用户的情况下，95% 的请求在 1.66 秒内拿到第一个 token。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060513API
curl https://kongchang.com/api/v1/knowledge/claims/1060513MCP
get_claim(id=1060513)