待验证50% 置信事实精确时间
投机解码优化的是解码阶段的 token 间延迟(ITL),对首 token 延迟(TTFT)基本无改善,甚至因草稿器加载而略增。
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
涉及实体
相关事实
待验证投机解码主要改善吞吐和每 token 成本,对首 token 延迟的改善有限,甚至可能因草稿阶段而略微增加。79% 相似待验证确定性执行架构使首Token延迟(TTFT)和Token间延迟(ITL)的方差极小,可对外提供类似SLA的延迟承诺77% 相似待验证TokenSpeed 的 MLA 解码内核在典型投机解码工作负载下,延迟约为 TensorRT-LLM 的一半。71% 相似待验证tokens/s指标可细分为首token延迟(TTFT)和生成速率(Generation Throughput)两个子维度69% 相似待验证在推理流程中,Prefill 阶段计算密集且耗时较长,Decode 阶段逐 token 自回归生成且对延迟敏感69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1106560API
curl https://kongchang.com/api/v1/knowledge/claims/1106560MCP
get_claim(id=1106560)