待验证50% 置信事实精确时间
大模型API的输出Token单价通常是输入Token的2-4倍，原因在于自回归生成机制每个输出Token都需一次独立前向传播且KV Cache占用大量GPU显存
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证GPU 在大模型推理时的核心瓶颈是内存带宽，自回归生成每个 Token 需从 HBM 加载完整 KV Cache，计算利用率通常不到 5%75% 相似待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对74% 相似待验证大模型API通常按Token数量计费，且生成速度以Token/秒衡量71% 相似待验证当模型权重和 KV Cache 无法完全载入 GPU 显存时需将部分数据交换到主内存（offloading），会使推理速度下降一到两个数量级71% 相似待验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/895356API
curl https://kongchang.com/api/v1/knowledge/claims/895356MCP
get_claim(id=895356)