待验证50% 置信事实精确时间
每Token需要搬运的KV缓存字节数计算公式为：kv_bytes_per_token = 2 * layers * kv_heads * head_dim * dtype_bytes，系数2对应Key和Value两份。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
vLLM P/D分离：KV传输成本决定收益的计算法则
rss2026/10/19
涉及实体
相关事实
待验证Llama 3.3 70B的KV缓存计算公式为：2（键和值）× 80层 × 8个KV头 × 128头维度 × 2字节 = 每token 327,680字节。76% 相似待验证对于使用GQA的70B模型（n_layers=80, n_kv_heads=8, head_dim=128, FP16缓存），单token的KV Cache大小约为320 KB。73% 相似待验证常规全注意力解码层的KV缓存估算公式为 KV bytes = 2 × L × Hkv × D × T × C × S，其中2代表键和值，L是注意力层数，Hkv是每层键/值头数，D是每个键/值头维度，T是每条序列缓存的token数，C是每个缓存元素的字节数，S是独立序列数。73% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用72% 相似待验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069153API
curl https://kongchang.com/api/v1/knowledge/claims/1069153MCP
get_claim(id=1069153)