概念Prefix Sharing
前缀共享
大模型推理优化技术,允许多个请求共享相同前缀的KV缓存以避免重复计算,提升GPU利用率。
核心事实
时间轴 (近 90 天)
10月26日
前缀共享机制依赖全局缓存池,以内容哈希或前缀指纹作为索引,若索引键粒度过粗或缓存块未及时失效,后续请求可能读到前一个请求残留的Key/Value张量。
待验证50%
10月19日
压缩 KV Cache 的手段包括量化、低秩近似、按重要性淘汰旧 token 等,其直接效果是提升单位显存能承载的 token 数(容量),而非节省算力或传输。
已验证65%