待验证50% 置信事实精确时间
KV-cache大小与序列token数成正比，直接决定单卡可并发请求数；更多token意味着每个用户占用更大KV-cache，同张GPU可并发用户数成比例缩水。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
印度语言Token成本惊人：印地语是英语的4.4倍，马拉雅拉姆语达7.3倍
rss2026/10/19
涉及实体
相关事实
已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长76% 相似待验证判断显卡是否够用的核心指标是显存大小，模型越大需要的GPU越好甚至需要多张显卡并联72% 相似待验证大模型API的输出Token单价通常是输入Token的2-4倍，原因在于自回归生成机制每个输出Token都需一次独立前向传播且KV Cache占用大量GPU显存72% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用72% 相似待验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1067581API
curl https://kongchang.com/api/v1/knowledge/claims/1067581MCP
get_claim(id=1067581)