Decode

Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作

预填充（Prefill）阶段是计算密集型任务，对算力要求高；解码（Decode）阶段是访存密集型任务，对显存带宽敏感

Transformer 推理的 prefill 阶段主要受计算能力（FLOPS）瓶颈制约，而 decode 阶段主要受内存带宽瓶颈制约

TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束

LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽

传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈

LLM 推理在 decode 阶段通常是内存带宽受限而非计算受限，因为逐 token 生成需加载整个模型权重但算术强度极低

LLM 推理分为预填充阶段（Prefill，计算密集型）和解码阶段（Decode，内存带宽密集型）两个阶段

大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)

大模型Decode阶段由于每步依赖上一步结果只能串行执行，硬件利用率通常不足10%

分离式推理将计算密集的预填充阶段与内存带宽密集的解码阶段解耦，分配到各自最适合的硬件资源池独立扩缩容

Prefill阶段高度并行、吞吐量大但耗时随上下文长度增长，Decode阶段逐token自回归生成且速度受限于显存带宽

Prefill（预填充/Prompt处理）阶段属于计算密集型，依赖GPU的矩阵并行计算能力；Decode（解码/生成）阶段属于内存带宽密集型，更多取决于显存带宽

Prefill 阶段需要一次性处理全部输入 token，属于计算密集型操作；Decode 阶段每步仅生成一个 token，属于内存带宽密集型操作

AI 推理的 Pre-Fill 阶段计算量大，更吃矩阵计算能力；Decode 阶段在单用户、小 Batch Size 时受内存带宽限制

Neural Accelerator对Prefill的加速效果约3-5倍，远超对Decode的加速效果，后者更多受益于内存带宽提升

Decode阶段每次只产生一个token，形态类似GEMV，算术强度极低，属于memory-bound

AI Creative Insights 由 Entropik 团队推出，该团队也是 Decode 平台的开发者

TPS的解码（Decode）阶段是用户实际感知到的响应速度，硬件内存带宽往往是解码阶段的真正瓶颈而非纯粹浮点算力

将预填充（Prefill）与解码（Decode）分离到不同资源运行是当前大规模推理服务优化资源利用率的主流架构