已验证65% 置信事实精确时间
预填充的浮点运算量随输入长度近似平方级增长,因此是 TTFT(首 Token 延迟)的主要来源。
3
来源数
65%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证更长的上下文意味着更高的首Token时延(TTFT),且Token数量与推理费用直接线性相关75% 相似待验证tokens/s指标可细分为首token延迟(TTFT)和生成速率(Generation Throughput)两个子维度75% 相似已验证推理延迟通常分解为首token延迟(TTFT)和后续token生成吞吐量两个核心指标72% 相似待验证Prefill的计算量与输入长度呈近似线性到平方关系,是推理延迟的主要来源之一72% 相似待验证预填充(prefill)阶段指模型一次性处理输入prompt的过程,计算量与输入长度成正比,长文档场景下首个token等待时间(TTFT)会显著拉长71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1032220API
curl https://kongchang.com/api/v1/knowledge/claims/1032220MCP
get_claim(id=1032220)