[
KongchangAI
]
Feed
Entities
Podcasts
Deep Dives
Developers
About
Get CLI
中文
Concept
Time To First Token / 首个token生成时间
TTFT
大语言模型推理中衡量用户体验的核心指标,指从提交请求到看到第一个输出字符的等待时长,主要受prefill预填充阶段决定
Source Articles
语音AI Agent架构选型:Pipecat Flows vs Vapi Squad深度对比
Jul 23
MemStitch零拷贝上下文桥接:vLLM推理TTFT提速25倍原理解析
Jul 15