概念
端到端延迟
语音智能体核心性能指标,指从用户说完最后一个字到智能体第一段语音开始播放之间的时间,由STT、LLM首Token、TTS首包及网络开销四级串联构成
时间轴 (近 90 天)
10月15日
首字节延迟(TTFB)指从发送文本到收到第一个音频字节的时间;端到端延迟包括音频捕获、ASR 转写、意图处理、TTS 合成和播放缓冲的全部耗时。
待验证50%
10月14日
假设一个回合内有 N 个相互独立的工具调用,每次耗时分别为 t₁…t_N,串行执行的总耗时约为 Σtᵢ。
待验证50%
10月14日
并发执行(并发数 ≥ N)时,N 个独立工具调用的总耗时约为 max(tᵢ)。
待验证50%
10月14日
当单个工具调用本身就是瓶颈(max(tᵢ) 很大)时,继续提高并发数对总延迟几乎无改善,只会增加资源压力。
待验证50%
10月8日
预约对话场景期望将从用户说完到Agent开始回应的端到端延迟控制在数百毫秒内
待验证50%