待验证50% 置信事实精确时间

大模型推理时实际GPU利用率往往不足10%

1

来源数

50%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

DeepSeek开源DiSpark：不换显卡让AI推理提速85%

bilibili枫叶边城2026/7/4

相关事实

待验证自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作85% 相似待验证参数量更大、推理步骤更多的模型，其GPU算力消耗可能是轻量模型的10-50倍80% 相似待验证单条推理通常只能占用GPU SM利用率的5%～15%，而合理的批次大小可将利用率提升至60%～90%76% 相似待验证轻量版模型单次推理的算力消耗往往只有旗舰版本的十分之一甚至更低73% 相似待验证相较于用GPU执行AI推理，NPU的功耗通常只有前者的1/5到1/1073% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/216174

API

curl https://kongchang.com/api/v1/knowledge/claims/216174

MCP

get_claim(id=216174)