待验证50% 置信事实精确时间
实际 token 生成速度通常只能达到理论值的 50%–70%，受计算单元调度、KV 缓存读写、量化反量化开销等因素影响。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证每秒 94 个 Token 的输出速度是在特定量化精度和上下文长度下测得的，实际体验会随提示词长度、并发数等因素波动。75% 相似待验证将一半模型层卸载到内存后生成速度往往从每秒十几个Token骤降至个位数72% 相似已验证输出Token价格通常为输入的4-6倍，源于预填充与解码两阶段的算力差异，解码阶段GPU利用率可能仅为预填充的10-20%70% 相似待验证传统推理框架中每个请求的 KV Cache 需预分配等长连续显存，显存利用率通常仅有 20%-40%，PagedAttention 可将其提升到接近 100%68% 相似待验证70B模型的推理速度可能只有7B的十分之一,内存占用则是数倍68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025808API
curl https://kongchang.com/api/v1/knowledge/claims/1025808MCP
get_claim(id=1025808)