[控场AI]
概念客户端响应缓存 / LLM Cache

LLM响应缓存

在客户端对LLM请求和响应进行缓存的技术方案,通过对完全相同的输入直接返回缓存结果,从而跳过模型推理过程,降低延迟和成本

来源文章