SteerTTS edge
SteerTTS的边缘版本,体积仅11.84MB,面向移动端和嵌入式设备,支持可调控语音合成。
时间轴 (近 90 天)
WhissleAI 发布了 SteerTTS 的边缘版本(SteerTTS edge),一个可调控英文语音合成模型,打包全部分发内容仅 11.84 MB。
SteerTTS edge 的 11.84 MB 包含模型权重、音色、文本前端以及 Python 运行时,是应用需要分发的全部内容。
SteerTTS edge 的声学模型有 9.25M 参数,采用 attention + 双向 Mamba-3 结构,并通过量化感知训练(QAT)压到 int4。
SteerTTS edge 的声码器是 6.2M 参数的 Vocos 风格模型,从 charactr/vocos-mel-24khz 蒸馏而来,并做了 int4 QAT。
SteerTTS edge 的文本前端改用纯 numpy 实现,运行时不再依赖 NLTK、g2p_en、torchaudio 或 num2words。
作者指出 SteerTTS edge 相比 v1 的约 0.1 UTMOS 损失几乎全部来自小型 int4 声码器。
SteerTTS edge 在量化后保留了 12 个控制维度(语速、响度、音高、音高范围、句末上扬、停顿、tilt、气声等),每个维度至少保留 fp32 版本 95% 的调控效果。
SteerTTS edge 支持 50 个风格标签和内联标记(如 [pause 400ms]、<slow>、<whisper>),可在文本中直接控制停顿、语速和耳语风格。
SteerTTS edge 在纯 CPU 环境(2018 款 Threadripper,带负载)下 4 线程 RTF 为 0.053(约 19 倍实时),配合句子级流式首包音频延迟约 120 ms。
SteerTTS edge 仅支持英文,内置 200 个音色(完整版为 2,825 个)。
还有 3 条时间轴事件
全部知识事实 (13)
SteerTTS edge 的情感标签大多只是风格切换,fast 和 anger 两类效果偏弱。
50%待验证SteerTTS edge 的 11.84 MB 包含模型权重、音色、文本前端以及 Python 运行时,是应用需要分发的全部内容。
50%待验证SteerTTS edge 的声学模型有 9.25M 参数,采用 attention + 双向 Mamba-3 结构,并通过量化感知训练(QAT)压到 int4。
50%待验证SteerTTS edge 的声码器是 6.2M 参数的 Vocos 风格模型,从 charactr/vocos-mel-24khz 蒸馏而来,并做了 int4 QAT。
50%待验证SteerTTS edge 的文本前端改用纯 numpy 实现,运行时不再依赖 NLTK、g2p_en、torchaudio 或 num2words。
50%待验证作者指出 SteerTTS edge 相比 v1 的约 0.1 UTMOS 损失几乎全部来自小型 int4 声码器。
50%待验证SteerTTS edge 在量化后保留了 12 个控制维度(语速、响度、音高、音高范围、句末上扬、停顿、tilt、气声等),每个维度至少保留 fp32 版本 95% 的调控效果。
50%待验证SteerTTS edge 支持 50 个风格标签和内联标记(如 [pause 400ms]、<slow>、<whisper>),可在文本中直接控制停顿、语速和耳语风格。
50%待验证SteerTTS edge 在纯 CPU 环境(2018 款 Threadripper,带负载)下 4 线程 RTF 为 0.053(约 19 倍实时),配合句子级流式首包音频延迟约 120 ms。
50%待验证SteerTTS edge 仅支持英文,内置 200 个音色(完整版为 2,825 个)。
50%待验证SteerTTS edge 在设备端不支持声音克隆、自由文本提示和 flow refiner,这些能力保留在完整模型中。
50%待验证SteerTTS edge 的权重在加载时会被反量化为 fp32,因此该版本节省的是体积而非推理速度,除非针对边缘设备重写算子内核。
50%待验证WhissleAI 发布了 SteerTTS 的边缘版本(SteerTTS edge),一个可调控英文语音合成模型,打包全部分发内容仅 11.84 MB。
50%