[控场AI]
概念Prefix Sharing

前缀共享

大模型推理优化技术,允许多个请求共享相同前缀的KV缓存以避免重复计算,提升GPU利用率。

核心事实

时间轴 (近 90 天)

10月26日

前缀共享机制依赖全局缓存池,以内容哈希或前缀指纹作为索引,若索引键粒度过粗或缓存块未及时失效,后续请求可能读到前一个请求残留的Key/Value张量。

待验证50%
10月19日

压缩 KV Cache 的手段包括量化、低秩近似、按重要性淘汰旧 token 等,其直接效果是提升单位显存能承载的 token 数(容量),而非节省算力或传输。

已验证65%

全部知识事实 (2)

来源文章