待验证50% 置信事实精确时间
本地推理延迟主要由提示词预处理（prefill）、逐 token 生成（decode）和模型加载三部分构成，输出长度增加时耗时线性上升。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
已验证大语言模型的推理过程是自回归的，输出Token数量与响应延迟几乎成线性关系72% 相似待验证推理轨迹是大语言模型在生成最终答案前逐步输出的中间思考Token序列，能提升复杂任务准确率但消耗大量额外Token70% 相似待验证大模型推理指模型训练完成后接收用户输入并实时生成输出的过程，对延迟极为敏感69% 相似已验证大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)69% 相似待验证推测解码（Speculative Decoding）通过每次多预测几个 Token 来提升吞吐速度69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1104421API
curl https://kongchang.com/api/v1/knowledge/claims/1104421MCP
get_claim(id=1104421)