待验证60% 置信事实精确时间
大模型推理通常处于内存带宽受限状态，llama-2-70B推理计算强度约1-2 FLOP/Byte，远低于H100峰值计算强度阈值约120 FLOP/Byte
2
来源数
60%
置信度
长期有效
时效性
2026/7/21
首次发现
来源
相关事实
待验证大语言模型自回归生成阶段属于内存带宽受限任务，单batch推理算术强度约1-2 FLOP/Byte，远低于RTX 4090的计算/带宽比约160 FLOP/Byte78% 相似待验证H100的屋顶线约为300 FLOPS/Byte，自回归推理算术强度约1-2 FLOPS/Byte，而DiffusionGemma通过并行处理将算术强度提升约256倍，从memory-bound转为compute-bound73% 相似已验证Stable Diffusion的Checkpoint模型通常为2-7GB，LoRA模型通常只有几十到几百MB66% 相似待验证MoE模型采用稀疏激活，Qwen 3.5 122B总参数122B但每次推理仅激活约10B，需将全部参数加载进内存，对内存容量极度敏感66% 相似部分验证Quantization compresses model weights from high-precision floating point numbers such as FP32 to low-precision representations such as INT8 or INT4, reducing memory footprint and computational requirements66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/575666API
curl https://kongchang.com/api/v1/knowledge/claims/575666MCP
get_claim(id=575666)