待验证50% 置信事实精确时间
推理过程分为prefill阶段和decode阶段:prefill阶段处理整个prompt并保存完整KV Cache,decode阶段逐个生成后续token并复用缓存。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
大模型推理瓶颈与KV Cache:核心机制与主流优化方案
bilibili先进编译实验室2026/10/20
涉及实体
相关事实
待验证双向KV传输机制中,prefill向decode传递初始KV,decode在生成过程中产生的增量KV也回流到prefill侧,使每一轮在前一轮基础上做增量prefill而非全量重算。79% 相似已验证大模型推理分为Prefill和Decode两个阶段,Prefill是首Token延迟(TTFT)的重要组成部分,Decode对应每Token生成时间(TPOT)78% 相似已验证LLM 推理分为预填充阶段(Prefill,计算密集型)和解码阶段(Decode,内存带宽密集型)两个阶段74% 相似待验证大语言模型推理的decode阶段每次只生成一个token,属于内存带宽受限操作,因为每生成一个token都必须将模型全部权重从内存加载一遍71% 相似已验证LLM推理的prefill阶段并行处理输入所有token并生成初始KV Cache,是计算密集型操作,是TTFT的直接决定因素71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121453API
curl https://kongchang.com/api/v1/knowledge/claims/1121453MCP
get_claim(id=1121453)