待验证60% 置信事实精确时间
生成吞吐（tok/s）反映解码阶段效率，受 KV Cache 大小和显存带宽影响，对输入长度的敏感程度远低于预填充
2
来源数
60%
置信度
长期有效
时效性
2026/9/17
首次发现
来源
涉及实体
相关事实
待验证KV缓存的大小随上下文长度线性增长，处理更长文本时显存消耗会显著增加77% 相似待验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力74% 相似待验证KV缓存运行时提供一种低成本、细粒度、实时的干预能力，填补了模型微调与外部脚手架之间的空白74% 相似已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长73% 相似部分验证KV Cache通过缓存已计算的Key和Value矩阵避免重复运算，PagedAttention等进阶技术进一步优化缓存内存管理效率73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/930282API
curl https://kongchang.com/api/v1/knowledge/claims/930282MCP
get_claim(id=930282)