待验证50% 置信事实精确时间

大语言模型自回归生成阶段属于内存带宽受限任务，单batch推理算术强度约1-2 FLOP/Byte，远低于RTX 4090的计算/带宽比约160 FLOP/Byte

1

来源数

50%

置信度

长期有效

时效性

2026/8/24

首次发现

来源

4090跑Qwen3 27B实测：Q4量化+128K上下文显存计算与调优指南

涉及实体

RTX 4090product Roofline模型concept

相关事实

待验证大模型推理通常处于内存带宽受限状态，llama-2-70B推理计算强度约1-2 FLOP/Byte，远低于H100峰值计算强度阈值约120 FLOP/Byte78% 相似已验证大模型推理的速度瓶颈是内存带宽而非算力不足，每生成一个token需要从内存加载数百GB的模型权重72% 相似待验证单Token生成的算术强度约为1 FLOP/Byte，导致GPU计算单元利用率不到1%69% 相似待验证自回归文本生成属于内存带宽受限任务，内存带宽而非算力峰值是真正的性能瓶颈67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/793632

API

curl https://kongchang.com/api/v1/knowledge/claims/793632

MCP

get_claim(id=793632)