已验证75% 置信事实精确时间
在推理流程中,Prefill 阶段计算密集且耗时较长,Decode 阶段逐 token 自回归生成且对延迟敏感
3
来源数
75%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证Prefill阶段高度并行、吞吐量大但耗时随上下文长度增长,Decode阶段逐token自回归生成且速度受限于显存带宽77% 相似待验证预填充(prefill)阶段指模型一次性处理输入prompt的过程,计算量与输入长度成正比,长文档场景下首个token等待时间(TTFT)会显著拉长77% 相似已验证Transformer 推理的 prefill 阶段主要受计算能力(FLOPS)瓶颈制约,而 decode 阶段主要受内存带宽瓶颈制约75% 相似待验证预填充阶段属于计算密集型,解码阶段属于访存密集型,二者混跑会互相干扰,导致延迟抖动和资源浪费。74% 相似待验证Prompt缓存能缩短首个Token的响应时间(time-to-first-token),因为模型跳过了对长前缀的重新处理74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/908700API
curl https://kongchang.com/api/v1/knowledge/claims/908700MCP
get_claim(id=908700)