VALL-E
微软于2023年发布的零样本语音合成模型，仅需3秒参考音频即可克隆目标人物声音
Core Facts
Timeline (last 90 days)
微软VALL-E将语音合成重新定义为语言建模问题，把语音编码为离散声学标记并像大语言模型预测下一个词一样预测下一个声学标记
微软的VALL-E将TTS问题重新定义为语言建模问题，使用离散音频编码进行自回归预测
基于Transformer架构的TTS模型如VALL-E、Bark仅需数秒真人语音样本即可克隆出高度相似的合成音频
微软的VALL-E及开源项目Bark和RVC等语音克隆技术能仅凭数秒语音样本生成高度逼真的仿声音频
Codec-based方案（如VALL-E、SoundStorm）将语音编码为离散token，然后用语言模型方式生成，实现更好的零样本语音克隆效果
微软 2023 年发布的 VALL-E 将语音生成建模为语言模型问题，仅需 3 秒参考音频即可实现零样本克隆，采用 EnCodec 神经音频编解码器
All Facts (10)
2023年微软发布的VALL-E仅需3秒样本即可克隆说话人音色
65%UnverifiedVALL-E、SoundStorm等主流大模型动辄数十亿参数
85%Unverified现代声音克隆方案（如SV2TTS、VALL-E、CosyVoice等）已将所需语音样本压缩至数秒
85%Unverified2023年后，随着Whisper、Bark、VALL-E等开源模型的广泛传播，从频谱图还原语音的能力已不再局限于顶级研究机构，普通技术人员借助消费级GPU即可复现
80%Unverified微软的VALL-E及开源项目Bark和RVC等语音克隆技术能仅凭数秒语音样本生成高度逼真的仿声音频
60%UnverifiedCodec-based方案（如VALL-E、SoundStorm）将语音编码为离散token，然后用语言模型方式生成，实现更好的零样本语音克隆效果
60%Unverified微软 2023 年发布的 VALL-E 将语音生成建模为语言模型问题，仅需 3 秒参考音频即可实现零样本克隆，采用 EnCodec 神经音频编解码器
60%Unverified微软VALL-E将语音合成重新定义为语言建模问题，把语音编码为离散声学标记并像大语言模型预测下一个词一样预测下一个声学标记
50%Unverified微软的VALL-E将TTS问题重新定义为语言建模问题，使用离散音频编码进行自回归预测
50%Unverified基于Transformer架构的TTS模型如VALL-E、Bark仅需数秒真人语音样本即可克隆出高度相似的合成音频
50%