待验证50% 置信事实精确时间
对于典型配置（L 层、隐藏维度 d、GQA 且 KV 头数为 h），每个 token 的 KV Cache 大小约为 2 × L × h × d_head × 字节数。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。77% 相似待验证常规全注意力解码层的KV缓存估算公式为 KV bytes = 2 × L × Hkv × D × T × C × S，其中2代表键和值，L是注意力层数，Hkv是每层键/值头数，D是每个键/值头维度，T是每条序列缓存的token数，C是每个缓存元素的字节数，S是独立序列数。76% 相似待验证对于具有L层、隐藏维度为d的模型，单个token的KV Cache占用为2×L×d×sizeof(float16)字节76% 相似待验证使用 KV Cache 后每轮 Q 投影只需计算 1×D_k 的向量，而无缓存时需计算 N×D_k 的完整矩阵75% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1062114API
curl https://kongchang.com/api/v1/knowledge/claims/1062114MCP
get_claim(id=1062114)