概念Prefilling / 预填充阶段
预填充
大语言模型推理的两个主要阶段之一，负责对输入prompt中所有token同时计算注意力，计算量随序列长度平方增长，属于计算密集型操作
核心事实
时间轴 (近 90 天)
10月14日
没有独立GPU的机器无法在合理时间内摄入大提示词，因此需要带GPU的第二主机解决预填充问题。
待验证50%
9月12日
预填充阶段属于计算密集型操作主要受 GPU 算力限制，解码阶段属于内存带宽密集型操作主要受显存带宽限制
待验证50%
9月2日
LLM 推理请求分为 Prefill（输入）和 Decode（输出）两个阶段，Prefill 可并行读取吞吐极高，Decode 需逐字串行推理占用 GPU 时间显著更长
待验证50%
8月31日
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
已验证90%
全部知识事实 (6)
已验证
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
90%已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高
80%部分验证LLM 推理分为预填充阶段（Prefill，计算密集型）和解码阶段（Decode，内存带宽密集型）两个阶段
65%待验证没有独立GPU的机器无法在合理时间内摄入大提示词，因此需要带GPU的第二主机解决预填充问题。
50%待验证预填充阶段属于计算密集型操作主要受 GPU 算力限制，解码阶段属于内存带宽密集型操作主要受显存带宽限制
50%待验证LLM 推理请求分为 Prefill（输入）和 Decode（输出）两个阶段，Prefill 可并行读取吞吐极高，Decode 需逐字串行推理占用 GPU 时间显著更长
50%