待验证50% 置信决策规则精确时间

区分 KV 池增长与调度抢占的方法是同时测量跨轮次 RSS 斜率和 TTFT p95：RSS 单调上升且 p95 跟随意味着 KV 池增长，p95 上升而 RSS 平坦意味着放置或抢占问题。

1

来源数

50%

置信度

长期有效

时效性

2026/10/18

首次发现

来源

GPUStack vLLM生产部署：KV Cache固定与OOM规避实战

涉及实体

RSSconcept TTFTconcept KV Cacheconcept

相关事实

待验证KV 缓存大小随上下文长度线性增长，注意力计算量随上下文长度呈平方级增长。70% 相似待验证KVarN在量化前对每个通道进行方差归一化（除以标准差），使各通道数值落入相似范围后再进行均匀量化，反量化时乘回标准差恢复62% 相似待验证KV缓存优化主要有四大技术路线：量化、稀疏注意力、低秩近似、多查询/分组查询注意力（MQA/GQA）61% 相似已验证KV缓存随上下文长度线性增长，增加解码阶段每步的内存读取量，是解码速度随上下文增大而下降的根本原因61% 相似待验证对于多轮对话或长文档问答，如果每次请求都重新计算整个上下文的 KV，算力开销会随上下文长度平方级增长。60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1063647

API

curl https://kongchang.com/api/v1/knowledge/claims/1063647

MCP

get_claim(id=1063647)