Kitten-TTS 2
KittenML 开源的低比特语音合成模型,采用三值量化(1.58比特)技术,支持 CPU 实时推理、零样本声音克隆、多语言及情感控制。
时间轴 (近 90 天)
KittenML开源了Kitten-TTS 2的代码与权重,托管在GitHub(KittenML/KittenTTS)和Hugging Face(KittenML/kitten-tts-2)上。
Kitten-TTS 2是1.58比特TTS模型,其线性层权重为三值{-1, 0, +1},配合group size为128的缩放因子。
Kitten-TTS 2仅靠CPU即可实时生成语音,无需GPU。
Kitten-TTS 2支持零样本声音克隆,仅需不到5秒的参考音频即可克隆目标音色,无需微调。
Kitten-TTS 2支持20多种语言的声音克隆,并支持跨语言克隆(如用中文参考音频合成英文语音以产生口音效果)。
Kitten-TTS 2支持情感与重音控制,可引导整体表达风格并对特定单词加重强调。
Kitten-TTS 2从V0.8到2是完全全新的架构重写,变化包括语音质量提升、引入三值权重、零样本声音克隆、多语言支持及情感/强调控制。
Ternary kernel通过将乘法退化为加法、取负或置零,避开浮点乘加运算,降低CPU计算开销,是Kitten-TTS 2在消费级CPU上实时推理的底层原因。
1.58比特量化在提升效率的同时,音质上限与全精度大模型相比仍有取舍空间。
Kitten-TTS 2发布者将其定位为“GPU资源匮乏者的开源替代方案”,强调易于自部署和本地运行。
全部知识事实 (10)
Kitten-TTS 2发布者将其定位为“GPU资源匮乏者的开源替代方案”,强调易于自部署和本地运行。
50%待验证Kitten-TTS 2是1.58比特TTS模型,其线性层权重为三值{-1, 0, +1},配合group size为128的缩放因子。
50%待验证Kitten-TTS 2仅靠CPU即可实时生成语音,无需GPU。
50%待验证Kitten-TTS 2支持零样本声音克隆,仅需不到5秒的参考音频即可克隆目标音色,无需微调。
50%待验证Kitten-TTS 2支持20多种语言的声音克隆,并支持跨语言克隆(如用中文参考音频合成英文语音以产生口音效果)。
50%待验证Kitten-TTS 2支持情感与重音控制,可引导整体表达风格并对特定单词加重强调。
50%待验证Kitten-TTS 2从V0.8到2是完全全新的架构重写,变化包括语音质量提升、引入三值权重、零样本声音克隆、多语言支持及情感/强调控制。
50%待验证Ternary kernel通过将乘法退化为加法、取负或置零,避开浮点乘加运算,降低CPU计算开销,是Kitten-TTS 2在消费级CPU上实时推理的底层原因。
50%待验证1.58比特量化在提升效率的同时,音质上限与全精度大模型相比仍有取舍空间。
50%待验证KittenML开源了Kitten-TTS 2的代码与权重,托管在GitHub(KittenML/KittenTTS)和Hugging Face(KittenML/kitten-tts-2)上。
50%