待验证50% 置信事实精确时间

KV缓存随上下文长度线性增长，增加解码阶段每步的内存读取量，是解码速度随上下文增大而下降的根本原因

1

来源数

50%

置信度

长期有效

时效性

2026/10/2

首次发现

来源

M4 Max实测Qwen 27B：本地模型的tokens/s背后真相

涉及实体

KV缓存concept Transformerconcept

相关事实

已验证KV Cache将已计算的历史键值矩阵缓存在内存中，将自回归生成的复杂度从随序列长度平方增长降至线性78% 相似已验证KV Cache（键值缓存）机制通过缓存自注意力层生成的 Key 和 Value 向量来避免重复计算以加速推理，但上下文越长需驻留显存的向量越多，内存压力呈近线性增长78% 相似待验证在推理阶段内存带宽往往比纯算力更早成为瓶颈，注意力机制需在每步生成时读取全部KV缓存，上下文长度增大时内存读写开销呈平方级增长73% 相似待验证KVarN在量化前对每个通道进行方差归一化（除以标准差），使各通道数值落入相似范围后再进行均匀量化，反量化时乘回标准差恢复71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/968808

API

curl https://kongchang.com/api/v1/knowledge/claims/968808

MCP

get_claim(id=968808)