待验证50% 置信事实精确时间

Prompt缓存（KV Cache）在相同系统提示多次使用时可复用缓存的KV矩阵，通常将延迟降低40-60%、成本降低50-90%

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

GPT-5.6三款模型深度实测：Soul、Tara、Luna实力几何？

bilibiliAI-seeker2026/7/9

相关事实

待验证Prompt Caching通过复用相同前缀的KV Cache跳过重复计算，降低延迟和Token费用80% 相似待验证传统KV缓存实现预先分配最大长度连续显存块，导致平均60%-80%的预分配内存被浪费76% 相似待验证MLA通过将KV矩阵压缩为低维潜在向量缓存，理论上可将KV Cache显存占用降低至标准MHA的5%至13%73% 相似待验证提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/461657

API

curl https://kongchang.com/api/v1/knowledge/claims/461657

MCP

get_claim(id=461657)