前缀缓存

KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高

前缀缓存通过缓存常见的提示词前缀来减少重复计算，从而提升推理效率

缓存是指把重复出现的系统提示或长文档预先存储，后续请求以更低单价复用，适合多轮问答或固定知识库场景。

vLLM等主流推理框架已经原生支持自动前缀缓存功能

前缀缓存可节省60%的token输入，对应60%的速度提升。

在语言模型推理优化中，常见手段大致可分为两类：一类是降低单次推理的计算与显存开销（如量化、知识蒸馏、稀疏化与剪枝），另一类是减少重复计算、提升吞吐（如KV Cache复用、前缀缓存、连续批处理与投机解码）。

在多租户场景下，前缀缓存的键中必须包含租户或会话的唯一标识，否则不同用户的相同前缀会命中同一缓存条目，导致上下文串扰。

在DeepSeek自身的流量中，96%的输入命中了前缀缓存，单卡预填充吞吐从每秒6万Token跃升至150万Token，提升25倍。

掌握大模型底层原理（如KV缓存、前缀缓存）、混合检索、模型微调、强化学习、数据清洗及评测集搭建，可胜任项目负责人角色并对标30K以上岗位。

命中前缀缓存时，数万 token 的重复 prefill 可以近乎跳过，首 token 延迟从数秒降到毫秒级。

前缀缓存复用会让 KV 值在不同于全新 prefill 的批次中计算，缓存命中的 KV 值与全新 prefill 的 KV 值在浮点层面可能不同，差异会沿后续 token 传播。

使用 KV 缓存后，单 token 延迟基本保持平缓，不再随上下文长度显著增长，表明瓶颈不再是矩阵乘法，而是 CPU 侧调度、kernel 启动开销或 GPU 显存带宽等固定开销。

静态系统提示可享受90%的KV缓存折扣，但动态思维链轨迹在轮次间被剥离或每步重新生成，导致前缀缓存无法在多轮智能体会话中分摊测试时计算突发。

发布决定数据何时可复用，协调决定谁等待、等待多久。

在自研 Rust LLM 推理引擎 mini-vllm-rs 中，前缀缓存启用后，两个完全相同的请求同时抵达冷缓存时，可能一个 token 都无法复用，双双执行完整预填充。

前缀缓存将提示词按固定大小（如 16 token）切分为缓存页，每页对应一段 KV，并建立哈希索引；新请求到达时逐页比对输入 token，命中即可引用已算好的 KV 页并跳过对应的预填充计算。

前缀缓存的关键约束是：缓存页必须在计算完成之后、且被正确发布之后才能被其他请求看见，可见性时机直接决定了并发场景下能否命中。

本地推理框架能做的是优化 KV cache 管理（如分页注意力、前缀缓存），让长对话不因显存耗尽而中断，从而在多轮场景下保持稳定。

生产级AI基础设施通常采用三层缓存：第一层精确哈希缓存，第二层语义缓存，第三层上游提供商与前缀缓存。

前缀缓存由Anthropic、OpenAI等模型提供商直接提供，保留静态提示词前缀的KV激活状态，复用预计算的注意力状态，但仍需承担提供商延迟和网络传输开销，典型读取延迟为200ms-1500ms。