待验证50% 置信基准精确时间

单条推理通常只能占用GPU SM利用率的5%～15%，而合理的批次大小可将利用率提升至60%～90%

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

14倍提速：Manticore如何重构ONNX嵌入推理路径

hackernewshackernews2026/7/3

相关事实

待验证许多推理服务的GPU利用率不足30%，通过VGPU技术可将利用率提升至70%以上80% 相似待验证大模型推理时实际GPU利用率往往不足10%76% 相似待验证GPU利用率可从低流量时的20%~30%提升至高流量时的70%~80%，因请求量越大越容易聚合为更大计算批次75% 相似待验证在完整的AI应用系统中，GPU推理通常只占总计算量的30%-40%，其余60%-70%的计算负载由CPU承担75% 相似待验证测试中4块GPU中只有1块的利用率达到约10%-13%，其余几乎处于空闲状态，而CPU使用率高达50%左右74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/176723

API

curl https://kongchang.com/api/v1/knowledge/claims/176723

MCP

get_claim(id=176723)