待验证50% 置信事实精确时间
MoE 架构中的注意力层通常是所有 token 共享的（稠密的），只有 FFN 层是稀疏的，因此 KV Cache 开销与同隐藏维度的稠密模型基本相同
1
来源数
50%
置信度
长期有效
时效性
2026/9/5
首次发现
来源
涉及实体
相关事实
待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重72% 相似待验证对于具有L层、隐藏维度为d的模型，单个token的KV Cache占用为2×L×d×sizeof(float16)字节67% 相似待验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长65% 相似待验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源64% 相似待验证num_ctx 参数直接影响内存占用，KV缓存需要为每个上下文token存储注意力计算的中间状态64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/860210API
curl https://kongchang.com/api/v1/knowledge/claims/860210MCP
get_claim(id=860210)