Unverified50% confidenceFactExact time

大模型推理时实际GPU利用率往往不足10%

1

Sources

50%

Confidence

Long-term

Relevance

7/8/2026

First Seen

Sources

DeepSeek开源DiSpark：不换显卡让AI推理提速85%

bilibili枫叶边城7/4/2026

Related Claims

Unverified自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作85% similar Unverified参数量更大、推理步骤更多的模型，其GPU算力消耗可能是轻量模型的10-50倍80% similar Unverified单条推理通常只能占用GPU SM利用率的5%～15%，而合理的批次大小可将利用率提升至60%～90%76% similar Unverified轻量版模型单次推理的算力消耗往往只有旗舰版本的十分之一甚至更低73% similar Unverified相较于用GPU执行AI推理，NPU的功耗通常只有前者的1/5到1/1073% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/216174

API

curl https://kongchang.com/api/v1/knowledge/claims/216174

MCP

get_claim(id=216174)