SteerTTS：23M参数TTS模型，混合注意力与双向Mamba-3实现细粒度韵律控制

在语音合成领域，可控性一直是个棘手问题。大多数TTS模型能生成自然语音，却很难按需调整语速、音高或能量——尤其当你希望每轮对话都动态调整韵律时。Reddit用户发布了一个名为SteerTTS的项目，用仅23M参数（含冻结的Vocos声码器）尝试解决这个问题。

架构设计：显式方差模型 + 混合序列建模

SteerTTS采用FastPitch风格的显式方差建模路径：音素先经过编码器，由时长、音高、能量三个预测器分别输出控制量，再通过长度调节器对齐，最终解码为100频带log-mel谱，交由冻结的Vocos声码器合成波形。据作者在Reddit帖中描述，这一设计让每个控制维度都有独立的预测头，便于后续的条件干预。

真正的差异化在于每个编码器和解码器块内部的序列建模方式。每个块依次包含多头自注意力、双向Mamba-3分支和卷积FFN。其中Mamba-3分支由前向与后向层求和构成，使用复数值状态和梯形离散化。这种混合结构试图在注意力捕捉全局依赖的同时，用状态空间模型处理局部时序细节，降低计算开销。

另一个关键设计是所有LayerNorm都替换为自适应版本（AdaLN），并通过掩码机制区分“未指定”与“显式设为零”。作者特别强调：控制项被省略时，模型会从音色、标签和文本中推断合理值；而传入{"rate": 0}则明确要求该音色的中性语速。这个区分对自动化管道很重要——你不希望漏传参数被误解为“静音”或“零速”。

显式方差建模指的是在TTS流水线中把音高（F0）、能量、时长等韵律属性从声学特征中解耦出来，用专门的预测头在音素层面分别回归这些标量曲线，再通过长度调节器把音素级预测上采样到帧级。相比端到端隐式建模，这种做法使每个韵律维度都有明确的中间表示，因而可以在推理时直接对这些中间量做数值干预、外推或替换，而不必扰动整个声学模型。FastSpeech 2是这一范式的代表工作，FastPitch则进一步用音高嵌入反馈到解码器以增强音高可控性；代价是各预测器之间可能相互纠缠，控制的交叉泄漏需要在评测中单独度量。

Mamba是一类基于选择性状态空间模型（SSM）的序列建模结构，其核心是用输入相关的参数控制状态转移，从而像注意力一样实现内容相关的信息路由，同时保持随序列长度线性增长的推理与训练成本。Mamba-3指该系列的较新迭代，引入复数值状态与梯形离散化等改进，以更精确地逼近连续时间系统。文中所述双向变体，是把前向与后向两个SSM分支的输出相加，使每个位置同时获得左右上下文，这一点与双向RNN的思路同源。与注意力相比，SSM擅长捕捉平滑、局部的时序动态，但缺乏显式的两两交互；把两者并联在同一块内，正是希望在长程依赖与局部细节之间取得折中。

引导与精炼：分类器引导 + 流匹配细化

SteerTTS在推理时采用类似分类器引导的策略：分别渲染有条件版本和无条件版本，然后对时长、音高、能量和mel谱做外推。这样可以在不重新训练的情况下放大控制信号。

可选的流匹配精炼器（ConvNeXt backbone，10个中点步）用于提升mel细节，代价是约12倍计算量。此外还有一个Voicebox风格的提示变体，支持声音克隆。模型总参数9.6M声学部分加13.5M Vocos，精炼器额外增加17.6M。

**分类器引导（Classifier-Free Guidance, CFG）**原本用于扩散模型：训练时随机丢弃条件，使同一网络既能给出有条件预测也能给出无条件预测，推理时按 ε = ε_uncond + s·(ε_cond − ε_uncond) 外推，用放大条件方向的差值来增强条件符合度，代价是多样性下降。SteerTTS把这一思路移植到韵律控制上，把“控制条件”当作引导方向，对时长、音高、能量和mel谱分别外推，因此无需重训即可增大控制幅度。引导强度s的取值是一个权衡：s过小则请求幅度兑现不足，s过大则音质与交叉干扰恶化。

**流匹配（Flow Matching）**是一种连续时间生成式建模方法，学习从简单先验到数据分布的速度场，训练目标为回归该速度场，采样时用常微分方程求解器积分。所谓“中点步”指采用二阶中点法积分，以较少步数换取更精细的mel重建；文中10步、约12倍计算量即指这条可选精炼路径的开销。

控制精度实测：四维强、三维弱

作者在held-out LibriTTS-R说话人上以±2标准差请求做了评测，结果呈现明显的分化。响度、中位音高、H1–H2和频谱倾斜的Spearman相关系数在0.87–0.97之间，说明请求值与回读值高度一致。但停顿、发声比例和CPPS（倒谱峰值突出度）表现较弱，ρ仅0.46–0.79，且CPPS会泄漏到音高和电平上——调整CPPS时，音高和响度也跟着变，交叉干扰明显。

引导强度方面，s=1时平均增益约0.5，s≈1.5时大致能兑现请求幅度，但交叉干扰随之增加。值得肯定的是，所有请求下WER稳定在约1%，说明韵律操控没有破坏可懂度。

Spearman相关系数ρ衡量请求控制值与合成语音回读测量值之间的单调一致性，ρ接近1说明排序完全一致，是评估韵律可控性的常用指标。文中的H1–H2指第一与第二谐波幅度之差，是嗓音气声感（breathy voice）的声学关联量；**CPPS（倒谱峰值突出度）**由倒谱平滑后峰值的高度与宽度之比得到，被视为整体嗓音音质与发声稳定性的综合指标，常与粗糙度、努力度相关；发声比例指整段语音中浊音帧所占比例。这些量并非由模型独立预测，而是由音高、能量等底层控制间接影响，因此它们的弱相关与交叉泄漏，反映的是声学层面的固有耦合，而非单纯的建模缺陷。

性能与局限

速度上，在RTX 5070上RTFx为60–80，CPU无精炼器时4–8。模型仅支持英语，单训练种子，尚未进行人工评测。权重采用CC BY-NC 4.0许可，代码MIT。

作者在帖末抛出一个开放问题：在小规模非自回归TTS中，双向Mamba与纯注意力相比究竟如何？他坦言尚未做干净的消融实验，希望社区分享经验。这恰恰是混合架构最需要证据的地方——没有消融，很难判断双向Mamba-3的增益来自结构本身还是参数配置。

多源视角与定位

该发布目前仅有Reddit单一来源，Hugging Face模型页提供了完整评测表格。从技术路线看，SteerTTS与FastPitch、FastSpeech 2一脉相承，但在序列建模上引入Mamba-3是较新的尝试。其23M的体量和显式数值控制接口，更适合嵌入式或对话系统中的逐轮韵律调节，而非追求极致音质的通用TTS。

对开发者而言，掩码AdaLN的设计值得借鉴：区分“未指定”和“零值”是可控生成系统中常被忽视的细节。而CPPS的交叉泄漏也提醒我们，韵律维度并非正交，显式控制某维时其他维的漂移需要被测量和补偿。

项目已开源模型权重和评测表，地址为 huggingface.co/WhissleAI/steer-tts。