待验证60% 置信事实精确时间
Codec-based方案（如VALL-E、SoundStorm）将语音编码为离散token，然后用语言模型方式生成，实现更好的零样本语音克隆效果
2
来源数
60%
置信度
长期有效
时效性
2026/8/10
首次发现
来源
相关事实
待验证音频原生架构直接在梅尔频谱图或量化音频编码（如 EnCodec 产生的离散音频 Token）上进行自注意力计算，从而捕捉文本表示中缺失的韵律、情绪和说话人身份信息76% 相似待验证零样本合成通过在海量多说话人数据集上预训练，学会声音空间的通用规律，从而从短音频泛化出新说话人特征75% 相似待验证微软 2023 年发布的 VALL-E 将语音生成建模为语言模型问题，仅需 3 秒参考音频即可实现零样本克隆，采用 EnCodec 神经音频编解码器75% 相似待验证Voxtral以30亿参数的文本模型作为主干，通过音频编码器将音频转为连续嵌入直接输入解码器，这与Whisper通过交叉注意力送入解码器的做法不同73% 相似待验证微软的VALL-E及开源项目Bark和RVC等语音克隆技术能仅凭数秒语音样本生成高度逼真的仿声音频73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/726730API
curl https://kongchang.com/api/v1/knowledge/claims/726730MCP
get_claim(id=726730)