待验证60% 置信基准精确时间
GPT-4级别模型的首Token延迟（TTFT）可达500-2000ms，而Llama 3.1 8B等小模型TTFT可低至100-300ms
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/7/14
首次发现
有效期至：2026/10/12
来源
状态机语音Agent实战：Pipecat与Vapi的延迟与准确性权衡
redditr/aiagents2026/7/12
相关事实
待验证语音Agent典型端到端延迟预算约为STT finalization 100-300ms + LLM TTFT 200-500ms + TTS TTFA 150-250ms + 网络开销50-100ms，总计500-1150ms74% 相似待验证现代云内网 RTT 可低至 0.1–0.5 毫秒，与本地 SSD 的 fsync 延迟处于同一量级72% 相似待验证将模型权重从FP16压缩到INT8或INT4的量化技术，可使消费级GPU如RTX 4090在本地部署时达到30-80 TPS的实用速度71% 相似待验证GPT-OSS 20B在RTX 3090上可达约40 Token/s的生成速度，在RTX 5090上能达到200 Token/s69% 相似待验证MemStitch声称通过「零拷贝上下文桥接」技术为vLLM带来高达25倍的TTFT提速69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/503987API
curl https://kongchang.com/api/v1/knowledge/claims/503987MCP
get_claim(id=503987)