SteerTTS
一种参数量仅23M的轻量级可控TTS模型,采用显式方差建模与混合注意力-双向Mamba-3序列建模架构,支持细粒度韵律(时长、音高、能量等)控制,可结合分类器引导和流匹配精炼器提升合成质量。
时间轴 (近 90 天)
SteerTTS是一个仅23M参数(含冻结的Vocos声码器)的TTS模型项目,由Reddit用户发布。
SteerTTS采用FastPitch风格的显式方差建模,音素先经过编码器,由时长、音高、能量三个预测器分别输出控制量,再通过长度调节器对齐,最终解码为100频带log-mel谱,交由冻结的Vocos声码器合成波形。
SteerTTS的每个编码器和解码器块依次包含多头自注意力、双向Mamba-3分支和卷积FFN,其中Mamba-3分支由前向与后向层求和构成,使用复数值状态和梯形离散化。
SteerTTS将所有LayerNorm替换为自适应版本(AdaLN),并通过掩码机制区分'未指定'与'显式设为零':控制项省略时模型从音色、标签和文本中推断合理值,传入{"rate": 0}则明确要求该音色的中性语速。
SteerTTS在推理时采用类似分类器引导的策略,分别渲染有条件版本和无条件版本,然后对时长、音高、能量和mel谱做外推,从而在不重新训练的情况下放大控制信号。
SteerTTS的可选流匹配精炼器使用ConvNeXt backbone,10个中点步,用于提升mel细节,代价是约12倍计算量。
SteerTTS的Voicebox风格提示变体支持声音克隆。
SteerTTS模型总参数为9.6M声学部分加13.5M Vocos声码器,精炼器额外增加17.6M。
在held-out LibriTTS-R说话人上以±2标准差请求评测,SteerTTS对响度、中位音高、H1–H2和频谱倾斜的Spearman相关系数在0.87–0.97之间;但停顿、发声比例和CPPS的ρ仅0.46–0.79,且CPPS会泄漏到音高和电平上。
SteerTTS在引导强度s=1时平均增益约0.5,s≈1.5时大致能兑现请求幅度,但交叉干扰随之增加;所有请求下WER稳定在约1%。
还有 5 条时间轴事件
全部知识事实 (15)
SteerTTS是一个仅23M参数(含冻结的Vocos声码器)的TTS模型项目,由Reddit用户发布。
50%待验证SteerTTS采用FastPitch风格的显式方差建模,音素先经过编码器,由时长、音高、能量三个预测器分别输出控制量,再通过长度调节器对齐,最终解码为100频带log-mel谱,交由冻结的Vocos声码器合成波形。
50%待验证SteerTTS的每个编码器和解码器块依次包含多头自注意力、双向Mamba-3分支和卷积FFN,其中Mamba-3分支由前向与后向层求和构成,使用复数值状态和梯形离散化。
50%待验证SteerTTS将所有LayerNorm替换为自适应版本(AdaLN),并通过掩码机制区分'未指定'与'显式设为零':控制项省略时模型从音色、标签和文本中推断合理值,传入{"rate": 0}则明确要求该音色的中性语速。
50%待验证SteerTTS在推理时采用类似分类器引导的策略,分别渲染有条件版本和无条件版本,然后对时长、音高、能量和mel谱做外推,从而在不重新训练的情况下放大控制信号。
50%待验证SteerTTS的可选流匹配精炼器使用ConvNeXt backbone,10个中点步,用于提升mel细节,代价是约12倍计算量。
50%待验证SteerTTS的Voicebox风格提示变体支持声音克隆。
50%待验证SteerTTS模型总参数为9.6M声学部分加13.5M Vocos声码器,精炼器额外增加17.6M。
50%待验证在held-out LibriTTS-R说话人上以±2标准差请求评测,SteerTTS对响度、中位音高、H1–H2和频谱倾斜的Spearman相关系数在0.87–0.97之间;但停顿、发声比例和CPPS的ρ仅0.46–0.79,且CPPS会泄漏到音高和电平上。
50%待验证SteerTTS在引导强度s=1时平均增益约0.5,s≈1.5时大致能兑现请求幅度,但交叉干扰随之增加;所有请求下WER稳定在约1%。
50%待验证SteerTTS在RTX 5070上RTFx为60–80,CPU无精炼器时为4–8。
50%待验证SteerTTS模型仅支持英语,单训练种子,尚未进行人工评测。
50%待验证SteerTTS权重采用CC BY-NC 4.0许可,代码采用MIT许可。
50%待验证作者尚未做干净的消融实验来比较双向Mamba与纯注意力在小规模非自回归TTS中的效果。
50%待验证SteerTTS项目已开源模型权重和评测表,地址为 huggingface.co/WhissleAI/steer-tts。
50%