算术强度
衡量计算与内存访问比例的指标，单位是FLOPs/Byte，用于判断计算任务是计算受限还是内存带宽受限，是GPU性能分析的核心概念
时间轴 (近 90 天)
算术强度指计算任务中浮点运算次数与所需内存访问字节数的比值，决定程序受限于算力还是带宽；高于硬件拐点（峰值算力除以峰值带宽）时为计算受限，低于拐点时为内存带宽受限。
LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载
自回归推理时batch size通常为1，每个token生成只做一次矩阵-向量乘法，算术强度极低，导致memory-bound问题，单用户场景下GPU利用率往往不到10%
自回归推理是memory-bound（内存带宽受限）问题，因为batch size通常为1时算术强度极低，GPU大部分时间在等待数据搬运
单Token生成的算术强度约为1 FLOP/Byte，导致GPU计算单元利用率不到1%
全部知识事实 (5)
算术强度指计算任务中浮点运算次数与所需内存访问字节数的比值，决定程序受限于算力还是带宽；高于硬件拐点（峰值算力除以峰值带宽）时为计算受限，低于拐点时为内存带宽受限。
50%待验证LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载
50%待验证自回归推理时batch size通常为1，每个token生成只做一次矩阵-向量乘法，算术强度极低，导致memory-bound问题，单用户场景下GPU利用率往往不到10%
50%待验证自回归推理是memory-bound（内存带宽受限）问题，因为batch size通常为1时算术强度极低，GPU大部分时间在等待数据搬运
50%待验证单Token生成的算术强度约为1 FLOP/Byte，导致GPU计算单元利用率不到1%
50%