Unverified50% confidenceBenchmarkExact time
单条推理通常只能占用GPU SM利用率的5%～15%，而合理的批次大小可将利用率提升至60%～90%
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
14倍提速：Manticore如何重构ONNX嵌入推理路径
hackernewshackernews7/3/2026
Related Claims
Unverified许多推理服务的GPU利用率不足30%，通过VGPU技术可将利用率提升至70%以上80% similarUnverified大模型推理时实际GPU利用率往往不足10%76% similarUnverifiedGPU利用率可从低流量时的20%~30%提升至高流量时的70%~80%，因请求量越大越容易聚合为更大计算批次75% similarUnverified在完整的AI应用系统中，GPU推理通常只占总计算量的30%-40%，其余60%-70%的计算负载由CPU承担75% similarUnverified测试中4块GPU中只有1块的利用率达到约10%-13%，其余几乎处于空闲状态，而CPU使用率高达50%左右74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/176723API
curl https://kongchang.com/api/v1/knowledge/claims/176723MCP
get_claim(id=176723)