[控场AI]
模型SteerTTS

SteerTTS

一种参数量仅23M的轻量级可控TTS模型,采用显式方差建模与混合注意力-双向Mamba-3序列建模架构,支持细粒度韵律(时长、音高、能量等)控制,可结合分类器引导和流匹配精炼器提升合成质量。

时间轴 (近 90 天)

10月19日

SteerTTS是一个仅23M参数(含冻结的Vocos声码器)的TTS模型项目,由Reddit用户发布。

待验证50%
10月19日

SteerTTS采用FastPitch风格的显式方差建模,音素先经过编码器,由时长、音高、能量三个预测器分别输出控制量,再通过长度调节器对齐,最终解码为100频带log-mel谱,交由冻结的Vocos声码器合成波形。

待验证50%
10月19日

SteerTTS的每个编码器和解码器块依次包含多头自注意力、双向Mamba-3分支和卷积FFN,其中Mamba-3分支由前向与后向层求和构成,使用复数值状态和梯形离散化。

待验证50%
10月19日

SteerTTS将所有LayerNorm替换为自适应版本(AdaLN),并通过掩码机制区分'未指定'与'显式设为零':控制项省略时模型从音色、标签和文本中推断合理值,传入{"rate": 0}则明确要求该音色的中性语速。

待验证50%
10月19日

SteerTTS在推理时采用类似分类器引导的策略,分别渲染有条件版本和无条件版本,然后对时长、音高、能量和mel谱做外推,从而在不重新训练的情况下放大控制信号。

待验证50%
10月19日

SteerTTS的可选流匹配精炼器使用ConvNeXt backbone,10个中点步,用于提升mel细节,代价是约12倍计算量。

待验证50%
10月19日

SteerTTS的Voicebox风格提示变体支持声音克隆。

待验证50%
10月19日

SteerTTS模型总参数为9.6M声学部分加13.5M Vocos声码器,精炼器额外增加17.6M。

待验证50%
10月19日

在held-out LibriTTS-R说话人上以±2标准差请求评测,SteerTTS对响度、中位音高、H1–H2和频谱倾斜的Spearman相关系数在0.87–0.97之间;但停顿、发声比例和CPPS的ρ仅0.46–0.79,且CPPS会泄漏到音高和电平上。

待验证50%
10月19日

SteerTTS在引导强度s=1时平均增益约0.5,s≈1.5时大致能兑现请求幅度,但交叉干扰随之增加;所有请求下WER稳定在约1%。

待验证50%

还有 5 条时间轴事件

全部知识事实 (15)

待验证

SteerTTS是一个仅23M参数(含冻结的Vocos声码器)的TTS模型项目,由Reddit用户发布。

50%
待验证

SteerTTS采用FastPitch风格的显式方差建模,音素先经过编码器,由时长、音高、能量三个预测器分别输出控制量,再通过长度调节器对齐,最终解码为100频带log-mel谱,交由冻结的Vocos声码器合成波形。

50%
待验证

SteerTTS的每个编码器和解码器块依次包含多头自注意力、双向Mamba-3分支和卷积FFN,其中Mamba-3分支由前向与后向层求和构成,使用复数值状态和梯形离散化。

50%
待验证

SteerTTS将所有LayerNorm替换为自适应版本(AdaLN),并通过掩码机制区分'未指定'与'显式设为零':控制项省略时模型从音色、标签和文本中推断合理值,传入{"rate": 0}则明确要求该音色的中性语速。

50%
待验证

SteerTTS在推理时采用类似分类器引导的策略,分别渲染有条件版本和无条件版本,然后对时长、音高、能量和mel谱做外推,从而在不重新训练的情况下放大控制信号。

50%
待验证

SteerTTS的可选流匹配精炼器使用ConvNeXt backbone,10个中点步,用于提升mel细节,代价是约12倍计算量。

50%
待验证

SteerTTS的Voicebox风格提示变体支持声音克隆。

50%
待验证

SteerTTS模型总参数为9.6M声学部分加13.5M Vocos声码器,精炼器额外增加17.6M。

50%
待验证

在held-out LibriTTS-R说话人上以±2标准差请求评测,SteerTTS对响度、中位音高、H1–H2和频谱倾斜的Spearman相关系数在0.87–0.97之间;但停顿、发声比例和CPPS的ρ仅0.46–0.79,且CPPS会泄漏到音高和电平上。

50%
待验证

SteerTTS在引导强度s=1时平均增益约0.5,s≈1.5时大致能兑现请求幅度,但交叉干扰随之增加;所有请求下WER稳定在约1%。

50%
待验证

SteerTTS在RTX 5070上RTFx为60–80,CPU无精炼器时为4–8。

50%
待验证

SteerTTS模型仅支持英语,单训练种子,尚未进行人工评测。

50%
待验证

SteerTTS权重采用CC BY-NC 4.0许可,代码采用MIT许可。

50%
待验证

作者尚未做干净的消融实验来比较双向Mamba与纯注意力在小规模非自回归TTS中的效果。

50%
待验证

SteerTTS项目已开源模型权重和评测表,地址为 huggingface.co/WhissleAI/steer-tts。

50%

来源文章