TextSeal2：无失真LLM水印，检测率提升显著

大语言模型水印技术长期面临一个两难：在文本中嵌入可检测的信号，往往以牺牲输出质量和多样性为代价。TextSeal2 的提出试图打破这一权衡——它宣称在保持无失真（distortion-free）特性的同时，显著提升了检测能力，并且在与推测解码（speculative decoding）结合时依然稳固。

从 TextSeal 到 TextSeal2：解决检测信号稀释问题

TextSeal 是 TextSeal2 的前身，它通过抛硬币的方式将每个 token 路由到两个密钥之一，以此在 Gumbel-max 采样方案中恢复输出多样性。这一设计的问题在于检测端：检测器需要同时计算两个密钥的分数并取平均，却无从得知生成时实际使用了哪个密钥，导致检测信号被稀释。

TextSeal2 的思路是合并而非分流。它将两个或更多密钥融合为一个"虚拟密钥"，并通过 AutoMark 的高斯 copula 将其与新鲜噪声耦合。关键在于，任意数量的密钥——包括公开共享的密钥——都可以用这种方式合并，而不会削弱检测力度。这意味着水印的密钥管理可以更灵活，同时检测灵敏度不因密钥数量增加而下降。

Gumbel-max 采样是一种从离散分布中采样的技巧，常用于语言模型解码。其做法是为每个候选 token 的 logit 加上独立同分布的 Gumbel 噪声，然后取最大值对应的 token。该技巧的妙处在于，加噪后取 argmax 等价于从原始 softmax 分布中采样，并且噪声的随机性为水印嵌入提供了天然载体：通过控制噪声的生成方式（如使用密钥派生的随机数），可以在不改变输出分布的前提下嵌入可检测信号。TextSeal 系列正是利用这一点，将密钥与 Gumbel 噪声耦合来实现无失真水印。

高斯 copula 是一种用高斯分布刻画多个随机变量间依赖结构的统计工具。给定各变量的边缘分布，copula 可以将其联合分布建模为高斯形式，从而灵活地控制变量间的相关性而不改变各自的边缘。在 TextSeal2 中，高斯 copula 被用来将虚拟密钥的随机信号与新鲜噪声耦合，使得多个密钥的合并不会破坏采样的无失真性，同时保持检测信号的可区分性。

推测解码下的水印保持：无记忆性与指数竞争

推测解码通过草稿模型快速生成候选 token，再由目标模型并行验证，是当前加速 LLM 推理的主流手段。但这一过程对水印提出了特殊挑战：被拒绝的草稿 token 需要被替换，替换后的 token 是否还能保持水印信号？

TextSeal2 给出的答案是肯定的。论文指出，在推测解码下，被拒绝草稿的替换 token 仍使用相同的密钥保持水印，且接受率不变。其机制是在草稿竞争（draft races）的剩余量上再运行一次带密钥的指数竞争（exponential race）。得益于指数分布的无记忆性（memorylessness），这次竞争能够复现块验证（block verification）的行为，从而使输出严格遵循目标模型的分布。换句话说，水印的嵌入不改变模型的生成结果，这是"无失真"的核心保证。

论文同时强调，TextSeal2 不增加可测量的推理延迟，并保持输出多样性。这两点对于实际部署至关重要——水印若带来明显的性能开销或文本质量退化，很难在生产环境中落地。

指数分布的无记忆性指：若随机变量 T 服从指数分布，则对任意 s, t ≥ 0，有 P(T > s + t | T > s) = P(T > t)。直观地说，已经等待了 s 时间后，剩余等待时间的分布与从零开始完全相同。这一性质使得在推测解码中，当草稿 token 被拒绝后，剩余候选 token 的竞争可以“重新开始”一次带密钥的指数竞争，而不会引入偏差。因为指数分布的剩余寿命与原始分布同分布，新竞争能够精确复现块验证的采样结果，从而保证最终输出严格服从目标模型分布——这是 TextSeal2 在推测解码下仍保持无失真的数学基础。

推测解码（speculative decoding） 是一种加速大模型推理的技术：先由一个小而快的草稿模型自回归生成若干候选 token，再由目标大模型并行验证这些 token 是否可接受。若某个草稿 token 被拒绝，则从该位置重新采样并丢弃后续草稿。该方法能在不改变输出分布的前提下显著提升推理速度，但水印信号在拒绝-替换过程中容易丢失或偏移，因此需要专门设计来保持水印。TextSeal2 利用指数竞争和无记忆性解决了这一难题。

实验表现：相同多样性下检测率大幅领先

论文在三个 LLM 上评估了 TextSeal2。在误报率为 10^-3 的条件下，以相同的输出 token 多样性为基准，TextSeal2 对 100 token 答案的检测率比 TextSeal 高出 8 到 22 个百分点，并且与 textGrain 表现相当，但无需对 logits 进行后处理优化。

在推测解码场景下，差距进一步拉大：在相同接受率下，TextSeal2 对 200 token 答案的检测率分别比 TextSeal 和 textGrain 高出 18 和 22 个百分点。这一结果说明，TextSeal2 的设计在加速推理的真实部署路径上具有明显优势。

说一下，上述数据均来自论文自报的实验设置，实际效果可能因模型、任务和数据分布而异。但就水印领域而言，在保持无失真和零延迟开销的前提下取得这样的检测提升，方向上是值得关注的。

技术启示与局限

TextSeal2 的核心贡献在于将 copula 耦合与无记忆性竞争结合，解决了多密钥水印的检测稀释问题，并使水印与推测解码兼容。对于需要内容溯源、版权保护或滥用检测的 LLM 应用而言，这类无失真水印提供了不牺牲生成质量的可行路径。

不过，论文目前未披露跨模型泛化、对抗性攻击下的鲁棒性以及长文本检测稳定性等细节。水印技术的实际价值最终取决于其在真实攻击场景下的表现，这些方面仍需后续研究验证。