[控场AI]
概念

端到端延迟

语音智能体核心性能指标,指从用户说完最后一个字到智能体第一段语音开始播放之间的时间,由STT、LLM首Token、TTS首包及网络开销四级串联构成

时间轴 (近 90 天)

10月15日

首字节延迟(TTFB)指从发送文本到收到第一个音频字节的时间;端到端延迟包括音频捕获、ASR 转写、意图处理、TTS 合成和播放缓冲的全部耗时。

待验证50%
10月14日

假设一个回合内有 N 个相互独立的工具调用,每次耗时分别为 t₁…t_N,串行执行的总耗时约为 Σtᵢ。

待验证50%
10月14日

并发执行(并发数 ≥ N)时,N 个独立工具调用的总耗时约为 max(tᵢ)。

待验证50%
10月14日

当单个工具调用本身就是瓶颈(max(tᵢ) 很大)时,继续提高并发数对总延迟几乎无改善,只会增加资源压力。

待验证50%
10月8日

预约对话场景期望将从用户说完到Agent开始回应的端到端延迟控制在数百毫秒内

待验证50%

全部知识事实 (5)

来源文章