语义缓存是AI网关区别于传统API网关的关键能力：通过对prompt做embedding，在向量空间中检索历史请求，当相似度超过阈值时直接返回缓存结果以避免重复调用大模型。