缓存

本地AI（端侧AI）将AI模型推理直接运行在终端设备上，具有隐私保护、低延迟、离线可用和降低成本等优势

缓存是指把重复出现的系统提示或长文档预先存储，后续请求以更低单价复用，适合多轮问答或固定知识库场景。

缓存配置不当的风险是返回过期内容，因此需要区分哪些页面可以长期缓存、哪些必须实时生成。

过期或冲突的缓存条目会导致响应陈旧甚至逻辑错误，例如助手重复旧答案、忽略最新指令。

服务端缓存通常有存活时间（TTL），长时间不访问会被清理；缓存容量有限，会按淘汰策略移除旧条目。

决定向量搜索性能的往往不是数据行数，而是缓存与索引规模的匹配程度。

Semantic Router 的改进方向中，“更快”涉及缓存、批处理或更轻量的嵌入模型，“可扩展”和“与决策模型集成”则关系到路由规则的组织方式以及如何把路由结果交给下游决策模型使用。

缓存中长期驻留的已删照片在技术上构成对个人数据的持续处理。

基础设施中按照人类节奏设计的限流、缓存和负载均衡策略，在 AI 流量的压力下容易失效。

Anthropic文档指出，在请求之间改变顶层努力档位会重启缓存，因此整个循环内应固定努力档位。

缓存层需要与存储后端协同而非孤立存在。

移除采样参数后，部分团队曾用 top_k 限制候选范围来降低推理开销的优化手段不再可用，需要转向缓存、批处理或模型分级路由来控成本。

缓存内容一旦变更，后续所有Token都会失效重算，因此应将固定内容放在提示词前部、可变内容放在后部。

缓存有最小Token长度门槛，短提示词无法触发缓存。

缓存重复请求的结果（如重复的邮件分类模式）可减少API调用次数并降低成本。

未命中时静默回退到网络请求的缓存会掩盖回归，而回放磁带在未命中时直接报错退出以暴露回归。

字幕内容很少变化，因此应缓存已抓取的字幕以减少请求次数和封禁风险。

缓存设计的优先级应高于模型选型，尤其对于RAG或文档问答类应用。

上下文压缩通过摘要、检索或丢弃冗余历史，减少每次请求传入模型的 token 数量，从而直接降低算力开销；缓存则把常见问题或高频对话的响应结果存储起来，避免重复推理。

被护栏修改或拦截的回复不应进入缓存，因为缓存应复用正确答案而非将修正后的『补丁回复』分发给后续用户。