待验证70% 置信事实时间未知

主流开源模型在消费级GPU上的推理速度通常在20-80 token/s之间

1

来源数

70%

置信度

长期有效

时效性

2026/5/31

首次发现

来源

GLM 5.1满血旗舰模型实测400 TPS，两分钟从草图到完整应用

bilibiliAI冷科长

相关事实

待验证GPU利用率可从低流量时的20%~30%提升至高流量时的70%~80%，因请求量越大越容易聚合为更大计算批次72% 相似待验证许多推理服务的GPU利用率不足30%，通过VGPU技术可将利用率提升至70%以上72% 相似待验证若没有充分优化的软件栈，GPU实际利用率往往只能达到理论峰值的30-50%70% 相似待验证输出Token价格通常为输入的4-6倍，源于预填充与解码两阶段的算力差异，解码阶段GPU利用率可能仅为预填充的10-20%70% 相似待验证同一型号GPU在不同渠道的价格差异可达20%-40%70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/6847

API

curl https://kongchang.com/api/v1/knowledge/claims/6847

MCP

get_claim(id=6847)