待验证60% 置信解决方案精确时间
语义缓存通过将请求转化为向量嵌入，在向量空间计算相似度，相似度超过阈值（通常0.90~0.95）则返回缓存结果
2
来源数
60%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
多模型分层部署：AI网关值得引入吗？
redditr/mlops2026/7/11
相关事实
待验证在LLM前加一层基于embedding的语义缓存，余弦相似度阈值设为0.92且模型一致时直接返回缓存结果，约30%的重复用户查询命中缓存，整体支出再降约20%。73% 相似待验证语义缓存基于向量嵌入的余弦相似度，实践中通常将0.92-0.95设为命中阈值72% 相似待验证Function Recovery维度采用0.75二元门槛，token相似度达到或超过0.75才算通过65% 相似待验证对齐sKL与针对模拟购物者场景撰写的人工查询对比时，相关系数达到ρ=-0.917，数值越低表示越接近。63% 相似待验证实验结果显示，即使输入完全相同，不同schema产生的潜在表示之间的原始Recall@1只有5.9%–17.7%。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/490223API
curl https://kongchang.com/api/v1/knowledge/claims/490223MCP
get_claim(id=490223)