待验证50% 置信事实精确时间

Prefill阶段将整个输入prompt一次性送入模型，注意力计算可完全并行，属于计算密集型负载，GPU利用率接近饱和但延迟与输入长度近似线性。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

LLM网关生产环境踩坑实录：6个致命故障模式

涉及实体

Prefillconcept Transformerconcept

相关事实

待验证预填充阶段是计算密集型(compute-bound),需一次性处理全部输入token并生成KV Cache,注意力矩阵计算复杂度为O(n²)77% 相似已验证模型微调通常需要大量标注数据和GPU算力投入74% 相似待验证在扩散模型的U-Net或DiT架构中，注意力层的计算往往是显存和时间的主要消耗来源72% 相似待验证每个中间推理token与输出token消耗等量的GPU算力72% 相似待验证现代大模型推理采用批处理（Batching）技术提高GPU利用率，vLLM、TensorRT-LLM等推理引擎通过PagedAttention、连续批处理等技术提升吞吐量72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1033791

API

curl https://kongchang.com/api/v1/knowledge/claims/1033791

MCP

get_claim(id=1033791)