待验证50% 置信事实精确时间
大模型推理是显存带宽密集型任务，decode 阶段每生成一个 token 都要重新读取全部权重与 KV Cache，因此批处理规模越大，单位 token 的边际成本越低，但延迟也越高。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证在超长上下文下将承担 KV cache 开销的层数压缩到总层数四分之一，可大幅降低长上下文推理的显存成本，是长上下文模型架构演进的重要方向80% 相似待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重79% 相似已验证KV Cache 在 Decode 阶段缓存此前所有 Token 的 Key 和 Value 矩阵，随对话轮次和上下文窗口增长而膨胀，长文本场景下可占用几 GB 到几十 GB 内存78% 相似待验证压缩 KV Cache 的手段包括量化、低秩近似、按重要性淘汰旧 token 等，其直接效果是提升单位显存能承载的 token 数（容量），而非节省算力或传输。78% 相似待验证Token 生成速度分为 prefill（计算密集型）和 decode（内存带宽密集型）两个阶段。77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1078745API
curl https://kongchang.com/api/v1/knowledge/claims/1078745MCP
get_claim(id=1078745)