Unverified50% confidenceBenchmarkExact time
Mistral 采用潜在缓存（latent cache）技术将整条轨迹压缩为一次训练的 Token 输入，据报道可节省约 22 倍的计算开销
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/16/2026
First Seen
Valid until: 10/14/2026
Sources
Related Claims
UnverifiedAirLLM 以推理速度为代价，每生成一个 token 耗时数秒乃至数十秒，远慢于高端 GPU 全量加载的每秒数十 token66% similarUnverifiedPrompt缓存（KV Cache）在相同系统提示多次使用时可复用缓存的KV矩阵，通常将延迟降低40-60%、成本降低50-90%65% similarUnverifiedPrompt Caching通过复用相同前缀的KV Cache跳过重复计算，降低延迟和Token费用64% similarUnverified上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重64% similarUnverifiedCodex内置Prompt Caching缓存机制，实测缓存命中率可达84%至93%63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/536186API
curl https://kongchang.com/api/v1/knowledge/claims/536186MCP
get_claim(id=536186)