待验证50% 置信决策规则精确时间

应只缓存finish_reason为stop或tool_calls的响应，被length截断或出错的响应不应缓存

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

LLM响应缓存实战：为OpenAI兼容API构建精确匹配缓存

涉及实体

finish_reasonconcept

相关事实

待验证缓存命中的前提是提示词内容保持稳定，若系统提示词中包含动态插入的时间戳、会话ID或随机内容则会造成缓存失效66% 相似待验证被缓存的数据如果会发生变化（如进程退出、连接关闭），必须有相应的失效机制，否则会返回过期结果63% 相似待验证流恢复移除后，长流式响应遭遇网络中断时客户端只能重新发起完整请求，可能造成算力浪费并导致两次结果不一致63% 相似待验证缺乏批处理取消能力意味着一旦提交了包含错误prompt的任务只能等待完成，浪费计算资源和API额度62% 相似待验证使用指数退避重试（Exponential Backoff）应对API请求失败可避免集中重试造成雪崩效应62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/997688

API

curl https://kongchang.com/api/v1/knowledge/claims/997688

MCP

get_claim(id=997688)