GAMW：生成感知的梅尔域水印，为TTS音频溯源提供新思路

当合成语音泛滥，溯源成刚需

TTS 系统已经能生成以假乱真的语音，但随之而来的是一系列现实问题：这段音频是真人说的还是合成的？如果是合成的，来自哪个模型、哪次生成？

音频水印试图回答这些问题——在语音中嵌入人耳难以察觉、但机器可恢复的信息，充当"身份证"。传统做法是后处理：先合成波形，再往波形上加水印。问题在于，水印层和后合成的音频层是分离的，一旦经历压缩、加噪、重采样等复合扰动，后加的水印极易被破坏。

最近一项名为 GAMW 的研究（Generation-Aware Mel-Domain Watermarking）提出了不同的路线：不等语音合成完再去加水印，而是在合成过程中直接嵌入。代码已开源于 GitHub：https://github.com/ZConJugaTe/GAMW 。

GAMW 怎么做的：在梅尔域嵌入，而非波形上贴标签

GAMW 的核心设计思路可以拆成三个层面来理解。

嵌入位置前移

传统后处理方法在波形（时间域）上操作，而 GAMW 选择在梅尔域（Mel-domain）的中间表示中注入水印。具体来说，在波形合成之前，GAMW 向 TTS 生成过程中产生的表示嵌入一段"内容自适应的多比特水印残差"（content-adaptive multi-bit watermark residual）。

这个"内容自适应"是关键——水印不是一段固定模式的信号，而是根据当前语音内容动态调整的残差。这样做的目的是让水印与语音内容更好地融合，降低对语音质量的影响，同时提高水印本身在后续处理中的存活率。

解码目标的设计

嵌入只是一半，解码同样重要。GAMW 的解码目标函数结合了两个机制：focal modulation（焦点调制）和 dynamic per-bit weighting（动态逐比特加权）。

前者借鉴了目标检测中 focal loss 的思想，让模型在训练时更关注难以解码的样本；后者则对不同比特位赋予不同的权重，避免某些比特位拖累整体解码准确率。这套组合让 16 比特的水印载荷在扰动条件下仍能保持较高的恢复率。

Focal modulation 与 focal loss。 Focal loss 最初由何恺明等人在目标检测（RetinaNet）中提出，用于解决正负样本极度不平衡的问题——通过降低易分类样本的权重，让模型聚焦于难分类的样本。GAMW 将这一思想迁移到水印解码：水印的每个比特相当于一个二分类任务，模型训练时对难以正确解码的比特给予更高关注，从而提升整体解码成功率。

动态逐比特加权。 16 比特水印在训练中，不同比特位的解码难度并不相同。有些比特位因嵌入位置或内容自适应残差的分布特点，更容易出错。动态逐比特加权在损失函数中为每个比特位维护一个可学习的权重，自动降低已准确解码比特的影响，把梯度集中到尚未学好的比特上。

跨骨干验证

研究团队在两个不同的 TTS 骨干网络上分别训练和评估了 GAMW，说明这套方法并非绑定某个特定 TTS 架构，具备一定的通用性。

梅尔域（Mel-domain）是什么？ 梅尔刻度是一种模拟人耳听觉感知特性的频率刻度，人耳对低频声音的分辨能力较强，对高频则较粗。TTS 系统通常先把文本转成声学特征（如梅尔频谱图），再由声码器将这些中间表示还原为波形。GAMW 选择在梅尔频谱图这一层嵌入水印，而非等到波形生成后再处理。原因在于：梅尔频谱是声码器合成的直接依据，在此处注入的信息会随着声码器的合成过程被自然“编织”进最终波形，与水印后处理方式只在波形表面叠加信号相比，耦合更深。

什么是多种扰动叠加？ 音频在真实链路中往往会经历多道处理：编码压缩（如 MP3、AAC）、网络传输造成的丢包与重采样、环境噪声叠加等。单一扰动只涉及其中一种操作，而复合扰动则是这些操作的串联。波形域水印面对复合扰动时，每经过一道处理就被削弱一次，累积后几乎不可恢复。

性能数据：复合扰动下提升 23.5 个百分点

论文给出的核心数据很有说服力。在 16 比特载荷下：

• 单一扰动场景下，GAMW 的解码准确率比最强基线方法高出 9.2 个百分点
• 复合扰动场景下，优势扩大到 23.5 个百分点

复合扰动下差距拉大并不意外。后处理水印面对单一扰动时还能勉强应对，但当多种扰动叠加——比如先压缩再重采样再加噪——波形域的水印信号会被层层削弱。GAMW 因为水印嵌在了生成过程的中间表示里，与语音信号有更深的耦合，抗扰动的鲁棒性优势在复合场景下被放大。

同时，论文强调 GAMW 保持了"有竞争力的语音质量"。这意味着水印的嵌入没有以显著牺牲音质为代价——这在水印领域是一个需要反复权衡的核心矛盾。

在更高载荷（超过 16 比特）的情况下，GAMW 仍能保持可靠的干净语音解码能力，说明其多比特承载能力有一定的向上扩展空间。

如何理解“23.5 个百分点”？ 百分点是准确率差值的绝对度量。假设最强基线在复合扰动下的解码准确率为 60%，GAMW 则为 83.5%；若基线为 40%，则 GAMW 为 63.5%。与“提升 23.5%”不同，百分点直接反映两个准确率之间的算术差，不受基数影响，因此在学术对比中更受青睐。

这项工作的意义与局限

TTS 水印不只是一个学术问题。随着合成语音在内容平台、客服系统、有声读物等场景中大量出现，音频来源的可验证性正在变成基础设施级别的需求。GAMW 代表的"生成感知"思路——把水印融入生成过程而不是事后追加——可能是这个方向上值得关注的范式转变。

不过也要看到，论文目前只在两个 TTS 骨干上做了验证，实际部署中面临的不同编解码器、传输链路、对抗攻击等条件是否同样适用，还需要更多测试。另外，梅尔域嵌入要求水印系统能接入 TTS 的内部流程，这对只想在音频输出端加水印的应用场景来说，集成门槛会更高。

开源代码的发布（https://github.com/ZConJugaTe/GAMW ）为此类方法的复现和改进提供了起点。对于关注 AI 音频安全、深度伪造检测、内容溯源的技术人员来说，GAMW 提供了一个不同于"波形后处理"的技术选项。

“生成感知”水印与后处理水印的根本差异。 后处理水印把水印当作一层附加信号，贴在已完成的音频上，音频本身对水印“无感”；生成感知水印则让水印成为生成过程的参与者，水印与语音内容在表示层就相互纠缠。这意味着即使攻击者试图通过重压缩或滤波抹去水印，也会同时破坏语音内容本身，从而提高了攻击的代价。这一思路对深度伪造检测、AI 生成内容标识等场景有直接参考价值。