待验证50% 置信事实精确时间
prefill 是一次性并行处理整个 prompt，矩阵乘法密集，GPU 利用率高；decode 是逐 token 串行，每步只处理一个 token，受内存带宽限制，GPU 往往跑不满。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
Jev实战：用单次Prefill替代逐token解码的决策模型
youtubefreeCodeCamp.org2026/10/27
涉及实体
相关事实
待验证主流推理服务器通常采用连续批处理（continuous batching）和分块 prefill（chunked prefill）等技术，在请求之间动态拼批，把 prefill 与 decode 交错执行以提升 GPU 利用率。79% 相似待验证Prefill 阶段需要一次性处理全部输入 token，属于计算密集型操作；Decode 阶段每步仅生成一个 token，属于内存带宽密集型操作78% 相似待验证prefill阶段负责处理输入prompt，一次性完成所有输入token的KV缓存计算；decode阶段逐个生成新token。74% 相似已验证预填充（Prefill）阶段是计算密集型任务，对算力要求高；解码（Decode）阶段是访存密集型任务，对显存带宽敏感73% 相似待验证Prefix Cache 优化是指当多轮对话中系统提示词保持不变时，API 服务端可缓存该前缀的 KV 计算结果供后续请求复用，减少重复计算、降低延迟和 Token 成本70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1104014API
curl https://kongchang.com/api/v1/knowledge/claims/1104014MCP
get_claim(id=1104014)