待验证50% 置信解决方案精确时间

合理的缓存层次结构是：热点前缀保留在GPU HBM，次热数据offload到主机DRAM，冷数据落盘

1

来源数

50%

置信度

长期有效

时效性

2026/10/1

首次发现

来源

持久化KV缓存连接器：跨请求与重启复用的LLM推理优化思路

涉及实体

tiered cachingconcept

相关事实

待验证系统采用分层架构：前端层、API网关层、Agent编排层和数据层，数据层用MySQL存储结构化数据、ChromaDB存储向量数据71% 相似待验证基于Electron的应用缓存结构通常包含GPU缓存（GPUCache）、网络缓存（Cache）、本地存储（Local Storage）和IndexedDB数据库70% 相似待验证HiCache是SGLang实现的分层KV缓存系统，将KV数据按访问热度分级存储于GPU HBM、Host DRAM和NVMe SSD68% 相似待验证vLLM的前缀缓存实现基于基数树（radix tree）数据结构进行细粒度的缓存命中匹配66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/966070

API

curl https://kongchang.com/api/v1/knowledge/claims/966070

MCP

get_claim(id=966070)