概念Streaming Inference
流式推理
允许大模型边生成边输出的推理方式，与传统自回归需生成完整序列才能输出相对，是实现实时语音交互的关键技术之一
时间轴 (近 90 天)
10月29日
可本地部署的语音模型通常意味着权重经过量化（如4-bit或8-bit），并配合流式分块推理以控制首包延迟。
待验证50%
10月26日
流式推理在每个时间步都要读写缓存状态，若状态张量较大或访问模式不连续，带宽压力会迅速转化为延迟。
待验证50%
10月26日
流式推理与增量合成技术可以边生成文本边合成语音，降低用户感知到的首字延迟。
待验证50%
9月11日
流式推理架构将用户的感知延迟与总生成时间彻底解耦，是实现低延迟TTS的核心架构策略
待验证50%