待验证50% 置信事实精确时间

批大小为1的Transformer推理算术强度往往低于10 FLOP/Byte，意味着GPU算力利用率不足理论峰值的5%

1

来源数

50%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

NVFP4量化实战：NVIDIA模型优化器压缩大模型指南

rss2026/6/26

相关事实

待验证Transformer推理中批量大小为1时注意力层的算术强度约1~10 FLOP/Byte，远低于H100约300 FLOP/Byte的屋脊点，属于带宽受限场景79% 相似待验证将FP32权重降至INT8后，典型Transformer模型基准测试分数下降通常不超过1%，推理速度提升2至4倍，内存占用减少75%74% 相似待验证自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作71% 相似待验证大模型推理时实际GPU利用率往往不足10%69% 相似待验证相较于用GPU执行AI推理，NPU的功耗通常只有前者的1/5到1/1067% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/229424

API

curl https://kongchang.com/api/v1/knowledge/claims/229424

MCP

get_claim(id=229424)