VALL-E
微软于2023年发布的零样本语音合成模型，仅需3秒参考音频即可克隆目标人物声音
核心事实
时间轴 (近 90 天)
微软VALL-E将语音合成重新定义为语言建模问题，把语音编码为离散声学标记并像大语言模型预测下一个词一样预测下一个声学标记
微软的VALL-E将TTS问题重新定义为语言建模问题，使用离散音频编码进行自回归预测
基于Transformer架构的TTS模型如VALL-E、Bark仅需数秒真人语音样本即可克隆出高度相似的合成音频
微软的VALL-E及开源项目Bark和RVC等语音克隆技术能仅凭数秒语音样本生成高度逼真的仿声音频
Codec-based方案（如VALL-E、SoundStorm）将语音编码为离散token，然后用语言模型方式生成，实现更好的零样本语音克隆效果
微软 2023 年发布的 VALL-E 将语音生成建模为语言模型问题，仅需 3 秒参考音频即可实现零样本克隆，采用 EnCodec 神经音频编解码器
全部知识事实 (10)
2023年微软发布的VALL-E仅需3秒样本即可克隆说话人音色
65%待验证VALL-E、SoundStorm等主流大模型动辄数十亿参数
85%待验证现代声音克隆方案（如SV2TTS、VALL-E、CosyVoice等）已将所需语音样本压缩至数秒
85%待验证2023年后，随着Whisper、Bark、VALL-E等开源模型的广泛传播，从频谱图还原语音的能力已不再局限于顶级研究机构，普通技术人员借助消费级GPU即可复现
80%待验证微软的VALL-E及开源项目Bark和RVC等语音克隆技术能仅凭数秒语音样本生成高度逼真的仿声音频
60%待验证Codec-based方案（如VALL-E、SoundStorm）将语音编码为离散token，然后用语言模型方式生成，实现更好的零样本语音克隆效果
60%待验证微软 2023 年发布的 VALL-E 将语音生成建模为语言模型问题，仅需 3 秒参考音频即可实现零样本克隆，采用 EnCodec 神经音频编解码器
60%待验证微软VALL-E将语音合成重新定义为语言建模问题，把语音编码为离散声学标记并像大语言模型预测下一个词一样预测下一个声学标记
50%待验证微软的VALL-E将TTS问题重新定义为语言建模问题，使用离散音频编码进行自回归预测
50%待验证基于Transformer架构的TTS模型如VALL-E、Bark仅需数秒真人语音样本即可克隆出高度相似的合成音频
50%