待验证50% 置信事实精确时间
Semantic Cache通过Embedding模型将query转为向量并在向量库中做相似度检索，常用余弦相似度，阈值通常取0.85～0.95，命中则跳过推理链路。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
后端转AI Agent工程师：P7面试官到底在考什么？
bilibili大模型学习教程2026/10/31
涉及实体
相关事实
待验证语义缓存通过Embedding模型将查询转化为向量，在向量空间中进行相似度检索，当相似度超过设定阈值时直接返回缓存结果80% 相似待验证在特定垂直领域语料上微调的Embedding模型往往能提升同义查询相似度得分，降低阈值误判率70% 相似待验证每秒token数（tokens/s）衡量的是解码阶段的吞吐，并不直接等于模型在复杂推理任务上的表现；高速版本可能在代码补全等任务上体验极佳，但在长链推理任务上未必优于主模型。67% 相似待验证Veloce-Engine 的语义缓存使用嵌入模型将提示词编码为向量，并通过余弦相似度等度量判断功能等价以命中缓存。67% 相似待验证时效性重排序将时间戳或版本号作为额外信号与语义相似度分数加权合并，常见公式为final_score = α × semantic_score + (1-α) × recency_score67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1119641API
curl https://kongchang.com/api/v1/knowledge/claims/1119641MCP
get_claim(id=1119641)