产品Metrecept缓存网关
Metrecept
一个开源的LangChain缓存网关项目，基于MIT协议在GitHub开源，提供对LLM API请求的缓存加速能力，支持工具调用规范化排序与SSE流式响应缓存
时间轴 (近 90 天)
9月11日
在生成缓存key前对工具调用列表进行规范化排序可解决缓存命中率偏低的问题
待验证50%
9月11日
缓存网关必须在服务端完整接收并重组所有SSE chunk后才能将完整响应存入缓存，再以合成SSE形式重新播放
待验证50%
9月11日
部分流式响应永远不会成为缓存条目，若客户端中途断开或生成异常中断则不保存不完整响应
待验证50%
9月11日
等待完整流式响应才能决定是否缓存会增加缓存层的内存压力和延迟
待验证50%
9月11日
Metrecept项目选择了精确匹配策略而非语义相似匹配
待验证50%
9月11日
在缓存层引入模糊语义匹配本质上是用准确性换性能，可能返回用户并未请求的错误答案
待验证50%