预填充
大语言模型推理的两个主要阶段之一，负责对输入prompt中所有token同时计算注意力，计算量随序列长度平方增长，属于计算密集型操作
核心事实
时间轴 (近 90 天)
预填充是大语言模型推理的第一阶段，模型把用户输入的整段提示词一次性读入，为每个token计算键值向量并存入显存。
提示词缓存（prompt caching）可对重复出现的长上下文复用计算结果，显著降低重复计费。
当预填充和解码跑在同一个引擎上时，一个长Prompt中途到达会导致解码批次中每个序列经历一次ITL尖峰，尖峰时长大致等于该预填充步骤的耗时。
没有独立GPU的机器无法在合理时间内摄入大提示词，因此需要带GPU的第二主机解决预填充问题。
预填充是计算密集型操作，计算量随序列长度呈平方级增长；解码是内存带宽密集型操作，可复用KV Cache
预填充阶段属于计算密集型操作主要受 GPU 算力限制，解码阶段属于内存带宽密集型操作主要受显存带宽限制
LLM 推理请求分为 Prefill（输入）和 Decode（输出）两个阶段，Prefill 可并行读取吞吐极高，Decode 需逐字串行推理占用 GPU 时间显著更长
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
全部知识事实 (10)
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
90%已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高
80%部分验证LLM 推理分为预填充阶段（Prefill，计算密集型）和解码阶段（Decode，内存带宽密集型）两个阶段
65%待验证预填充是大语言模型推理的第一阶段，模型把用户输入的整段提示词一次性读入，为每个token计算键值向量并存入显存。
50%待验证提示词缓存（prompt caching）可对重复出现的长上下文复用计算结果，显著降低重复计费。
50%待验证当预填充和解码跑在同一个引擎上时，一个长Prompt中途到达会导致解码批次中每个序列经历一次ITL尖峰，尖峰时长大致等于该预填充步骤的耗时。
50%待验证没有独立GPU的机器无法在合理时间内摄入大提示词，因此需要带GPU的第二主机解决预填充问题。
50%待验证预填充是计算密集型操作，计算量随序列长度呈平方级增长；解码是内存带宽密集型操作，可复用KV Cache
50%待验证预填充阶段属于计算密集型操作主要受 GPU 算力限制，解码阶段属于内存带宽密集型操作主要受显存带宽限制
50%待验证LLM 推理请求分为 Prefill（输入）和 Decode（输出）两个阶段，Prefill 可并行读取吞吐极高，Decode 需逐字串行推理占用 GPU 时间显著更长
50%