待验证50% 置信事实精确时间
TTFT（首token延迟）由前端请求预处理（分词、拼接prompt）和后端prefill计算两段构成，KV缓存只优化后者。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
Delta Tokenizer：会话增量与多核并行如何让长提示词分词提速40倍
rss2026/10/14
涉及实体
相关事实
已验证首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于模型对输入 prompt 的预填充（prefill）阶段耗时79% 相似已验证TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束76% 相似待验证流式STT和TTS允许系统在处理未完成时就开始并行处理，从而压缩用户感知到的等待时间70% 相似待验证前缀缓存通过复用相同上下文前缀的KV向量缓存，可为AI智能体场景带来50%-80%的计算节省，并显著降低首token延迟（TTFT）69% 相似待验证TTS服务采用解耦设计后，当请求量激增时只需扩容Worker，缓存层充当屏障避免下游服务对相同文本重复计算69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038158API
curl https://kongchang.com/api/v1/knowledge/claims/1038158MCP
get_claim(id=1038158)