概念Speech-to-Speech / 端到端语音模型
语音到语音模型
直接以用户音频为输入、以合成语音为输出的单一模型,中间不显式经过文本转写和大语言模型推理两个独立环节。
时间轴 (近 90 天)
10月29日
Reimer的实测答案是:语音到语音模型通常比并行化流水线贵3到5倍,这对游戏这类成本敏感场景是交易破坏者。
待验证50%
10月29日
语音到语音模型在安全审核上不如流水线架构可控,因为LLM输出可以在送入TTS之前被拦截和校验,而语音到语音模型在输出前难以验证内容;语音风格和智能水平也被锁死在模型预设里。
待验证50%
10月29日
语音到语音模型唯一明确的优势在于对用户语气(如讽刺)的理解,但Reimer认为随着STT能力演进,这一差距会缩小。
待验证50%