待验证50% 置信解决方案精确时间
Strata采用KV缓存分层管理，显存只保留32K单元KV缓存，其余下沉到内存，实测KV显存命中率达98.9%
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证当上下文超过6.4万Token时，Strata将大部分KV缓存保留在内存中，仅把最热的3.2万Token保留在显存，在26.2万上下文下速度从约51提升至63 Token/秒77% 相似待验证传统KV缓存实现预先分配最大长度连续显存块，导致平均60%-80%的预分配内存被浪费72% 相似已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/472% 相似待验证vLLM的PagedAttention将KV缓存切分为固定大小物理块（通常16个token），使显存利用率从不足40%提升至接近90%71% 相似待验证传统LLM推理中，KV Cache的内存管理导致60%-80%的GPU显存被浪费71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978773API
curl https://kongchang.com/api/v1/knowledge/claims/978773MCP
get_claim(id=978773)