Unverified50% confidenceFactExact time
缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对
1
Sources
50%
Confidence
Long-term
Relevance
9/4/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedKV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源79% similarUnverified上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重76% similarUnverifiednum_ctx 参数直接影响内存占用，KV缓存需要为每个上下文token存储注意力计算的中间状态74% similarVerified智能体的记忆包括短期记忆（对话上下文窗口，通常4K~128K tokens）、长期记忆（向量数据库）和过程记忆（工具调用中间状态缓存）72% similarUnverifiedKV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/852239API
curl https://kongchang.com/api/v1/knowledge/claims/852239MCP
get_claim(id=852239)