HotKV

HotKV 的精确匹配缓存所有套餐都包含，语义缓存（SCACHE.*）需要 Performance 及以上套餐。

HotKV 的缓存机制先做精确匹配（对标准化后的问题、模型标识和系统提示词版本做 SHA-256 哈希），再做语义匹配（使用 OpenAI text-embedding-3-small 生成向量，余弦相似度超过阈值即命中），均未命中才调用模型并写回缓存。

测试前语义阈值固定为 0.81，该值在 Banking77 训练集上校准，保证语义命中至少 98% 指向同一意图；但在实际测试集上语义命中的意图一致率为 96.7% 到 96.8%，每个模型有 30 到 31 次命中错误意图。

四个模型合计调用次数从 12000 降到 3588，token 降 70.1%，成本降 69.6%；约 70% 请求由缓存回答，其中精确匹配贡献约 39%，语义层额外贡献约 31%。

若去掉语义层，仅精确匹配最多需要 1264 次模型调用，已能节省约 58% 成本，语义层在该负载上仅额外贡献约 12 个百分点。

P99 延迟在 Fable 5.1 上从 6.6 秒降到 6.4 秒，长尾改善有限，因为 30% 的请求仍调用模型。

在 0.81 阈值下，缓存答案“符合问题”的比例比新鲜答案低 5.8 到 10.7 个百分点；换算到全部响应，整体质量损失约 2 到 3 个百分点；Haiku 5.5 差距最大（10.7 个百分点），缓存答案合格率仅 67.9%。

在 Sonnet 5.5 上扫描阈值发现，0.88 以上缓存答案不再显示质量劣势，同时仍能节省 64% 成本；0.90 节省 61%。

在 119 对“近似问题”测试中，0.81 阈值下 62% 的改动问题会错误命中；即使提高到 0.90，仍有 25% 会命中；真正的同义改写命中率从 39% 降到 4%。

将意图分布从 Zipf 倾斜改为均匀分布，Sonnet 和 Haiku 的成本降幅从 70% 掉到 56%；若 3000 个问题全部不同，降幅只有 38%。

HotKV 在 BankING77 数据集上对四个 Claude 模型（Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5）进行端到端测试，加入 HotKV 缓存后模型调用、输入输出 token 和 API 成本均降低约 70%。

测试环境为单台四核服务器，客户端与缓存同机，缓存未预热（前 1000 个请求缓存命中率约 52%，后 1000 个约 81%），每个条件只跑一次。

按每天 100 万请求、每月 30 天推算，Fable 5.1 每月可省约 21.1 万美元，Haiku 5.5 只省约 1900 美元；该推算是基于测量到的单请求成本做的算术，不是另一次实测，且排除了 HotKV 自身的托管和运维成本。