待验证50% 置信事实精确时间

在LLM前加一层基于embedding的语义缓存，余弦相似度阈值设为0.92且模型一致时直接返回缓存结果，约30%的重复用户查询命中缓存，整体支出再降约20%。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/15

首次发现

有效期至：2027/1/13

来源

不碰代码，如何将LLM API成本砍掉70%

rss2026/10/15

涉及实体

text-embedding-3-smallmodel Redisproduct

相关事实

待验证语义缓存基于向量嵌入的余弦相似度，实践中通常将0.92-0.95设为命中阈值73% 相似待验证语义缓存通过将请求转化为向量嵌入，在向量空间计算相似度，相似度超过阈值（通常0.90~0.95）则返回缓存结果73% 相似待验证一篇EMNLP研究发现4-bit模型在12.8万token时检索损失平均高达23%，70B LLaMA丢失三分之一分数而同规模QWEN几乎无损68% 相似待验证传统LLM推理框架为每条请求预分配连续显存导致内存碎片，GPU实际利用率往往不足50%67% 相似待验证前缀缓存命中时推理耗时可从秒级降至毫秒级，各厂商缓存命中价格通常为未命中的十分之一甚至更低66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1038715

API

curl https://kongchang.com/api/v1/knowledge/claims/1038715

MCP

get_claim(id=1038715)