流式处理
将多阶段流水线的输出分块实时传递、使相邻阶段计算重叠执行的技术，可显著降低语音对话等场景的感知延迟
时间轴 (近 90 天)
采用流式处理（模型边写、文本按句切分、第一句立即送语音合成并播放）可显著改善长静默问题，但合成速度约为实时的1.1倍，偶尔仍有短暂停顿。
流式处理指模型在音频尚未完整输入时就开始增量输出结果，决定“首字延迟”。
流式流水线化以“块”为粒度交接而非以“完整结果”为粒度交接，代价是下游需在信息不完整时做决策，工程上常以标点或从句边界作为TTS切分触发点。
流式处理带来两个额外约束：因果性（不能用未来帧信息）和状态维护（必须将历史信息压缩进有限上下文并随新帧更新）。
流式处理要求STT、LLM、TTS三段全部以增量方式工作；VAD用于判断用户是否说完，其灵敏度设置是延迟与误打断之间的权衡；打断机制要求用户中途插话时系统立即停止当前TTS播放并清空后续推理队列。
流式处理因在句子尚未结束时就需预测语义，可能引入上下文错误，在长句、插入语较多的语言（如德语）中尤为明显
流式处理将音频切分为更小的时间窗口（通常200-500毫秒），边接收边识别、边翻译，大幅缩短首词出现时间（Time to First Token）
批处理以固定时间窗口处理积累的数据，流式处理对数据到达时立即响应，两者在工具选型、成本结构和运维复杂度上差异显著
部分厂商通过流式处理将感知延迟压缩至500毫秒以内，但复杂查询场景下仍难以稳定达标
流式合成的首字节延迟（Time to First Byte）通常可以压缩到几百毫秒级别
全部知识事实 (10)
采用流式处理（模型边写、文本按句切分、第一句立即送语音合成并播放）可显著改善长静默问题，但合成速度约为实时的1.1倍，偶尔仍有短暂停顿。
50%待验证流式处理指模型在音频尚未完整输入时就开始增量输出结果，决定“首字延迟”。
50%待验证流式流水线化以“块”为粒度交接而非以“完整结果”为粒度交接，代价是下游需在信息不完整时做决策，工程上常以标点或从句边界作为TTS切分触发点。
50%待验证流式处理带来两个额外约束：因果性（不能用未来帧信息）和状态维护（必须将历史信息压缩进有限上下文并随新帧更新）。
50%待验证流式处理要求STT、LLM、TTS三段全部以增量方式工作；VAD用于判断用户是否说完，其灵敏度设置是延迟与误打断之间的权衡；打断机制要求用户中途插话时系统立即停止当前TTS播放并清空后续推理队列。
50%待验证流式处理因在句子尚未结束时就需预测语义，可能引入上下文错误，在长句、插入语较多的语言（如德语）中尤为明显
50%待验证流式处理将音频切分为更小的时间窗口（通常200-500毫秒），边接收边识别、边翻译，大幅缩短首词出现时间（Time to First Token）
50%待验证批处理以固定时间窗口处理积累的数据，流式处理对数据到达时立即响应，两者在工具选型、成本结构和运维复杂度上差异显著
50%待验证部分厂商通过流式处理将感知延迟压缩至500毫秒以内，但复杂查询场景下仍难以稳定达标
50%待验证流式合成的首字节延迟（Time to First Byte）通常可以压缩到几百毫秒级别
50%