待验证50% 置信基准精确时间
TokenSpeed 的 MLA 解码内核在典型投机解码工作负载下，延迟约为 TensorRT-LLM 的一半。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/15
首次发现
有效期至：2026/10/29
来源
涉及实体
相关事实
待验证tokens/s指标可细分为首token延迟（TTFT）和生成速率（Generation Throughput）两个子维度70% 相似待验证在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感70% 相似待验证解码环节的加速上限（约2.7倍）高于编码环节的加速上限69% 相似待验证TensorRT-LLM通过算子融合、量化压缩和连续批处理将单token生成延迟降低40%-60%69% 相似待验证Swift-Qwen3.8-27B 通过后训练手段将思考 token 削减 58.3%、推理速度提升 1.95 倍，同时准确率损失控制在 1% 以内68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1041083API
curl https://kongchang.com/api/v1/knowledge/claims/1041083MCP
get_claim(id=1041083)