概念Roofline Model / 屋顶线模型
Roofline模型
一种用于评估计算负载性能上限的可视化分析模型，通过算术强度（FLOP/Byte）与硬件峰值算力、内存带宽的关系判断计算瓶颈所在
时间轴 (近 90 天)
10月12日
在batch-1解码场景中，由于算术强度极低，性能瓶颈必然落在内存带宽一侧，理论token上限可由实测带宽乘以权重字节数计算得出。
待验证50%
9月11日
Roofline 模型把内核的算术强度（每字节数据对应的浮点运算量）与硬件的内存带宽、计算峰值关联起来，用于判断优先优化内存访问还是计算逻辑
待验证50%
8月24日
大语言模型自回归生成阶段属于内存带宽受限任务，单batch推理算术强度约1-2 FLOP/Byte，远低于RTX 4090的计算/带宽比约160 FLOP/Byte
待验证50%
8月23日
单Token生成的算术强度约为1 FLOP/Byte，导致GPU计算单元利用率不到1%
待验证50%