[控场AI]
待验证50% 置信基准精确时间

LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载

1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现

来源

Jetson边缘部署推理模型：量化压缩与TensorRT优化实战

涉及实体

大语言模型concept自回归生成concept算术强度concept

相关事实

待验证Meta的Llama 3.1 70B参数模型以FP16加载约需140GB，405B参数模型以FP16加载约需810GB，INT4量化后约202GB74% 相似待验证Flux 2的9B参数模型在FP16精度下模型权重约占18GB显存，通常需要24GB以上的GPU显存73% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/867219
API
curl https://kongchang.com/api/v1/knowledge/claims/867219
MCP
get_claim(id=867219)