[控场AI]
· 7 分钟阅读· 3,639 字

调高温度能洗掉SynthID水印吗?实测100篇文本

调高温度能洗掉SynthID水印吗?实测100篇文本

调高重写温度可免费洗掉约一半 SynthID 水印,但收益止步于 nuclear 采样边界,越过 top-p 后文本先崩溃。

本文通过采样参数扫描实验检验了"调高重写模型温度能否更快洗掉 SynthID 水印"这一问题。作者用 gemma3:12b 对 100 篇带水印文本在五种采样设置下重写,并用原检测器和 Claude 评委评估水印残留与文本质量。结果显示:温度 1.3 配合默认 top-p 0.9 可将被标记率从 25% 降到 14%,且意义和流畅度无统计显著损失;贪心解码反而保留更多水印,被标记率升至 31%;把 top-p 开到 1.0 只多减少 3 个百分点水印,却让四分之一文本丢失或扭曲事实。干净文本的零假设在所有设置下保持稳定,说明信号下降是真实损失而非检测器漂移。5-gram 保留量与意义得分相关系数仅 0.15,说明复制原文措辞几乎买不到忠实度。结论是:温度是有效杠杆,但悬崖在 top-p 而非温度,且没有任何设置能把水印归零。

调高重写模型的温度,能否更快洗掉 SynthID 水印?一位开发者在上一篇文章中用三个本地模型重写了 100 篇带水印文本,发现检测器在大多数文本中仍能捕捉到痕迹。有读者追问:更"热"的重写器会不会更快打碎水印依赖的 5-token 窗口?于是他跑了一组完整的采样参数扫描实验,答案比预想的更有层次。

为什么采样旋钮应该起作用

SynthID 水印嵌入在精确的 token 序列中:它根据前 4 个 token 来微调每个 token,因此重写文本只有在复现原文的 5-token 窗口时才携带水印。两个参数决定重写器复用原文措辞的程度。

温度设定重写器偏好高概率 token 的强度。低温度产生最自然的措辞,而最自然的措辞往往就是原始模型写出的内容。**Top-p(核采样)**则决定哪些 token 可以被采样。top-p 0.9 时,无论温度多高,重写器只从合理集合中挑选;top-p 1.0 时整个长尾开放,包括模型认为不太可能的 token。

上一篇文章发现,原文 5-gram 在重写后的存活比例与水印 z-score 的相关系数为 0.77。因此预测很直接:任何降低 5-gram 重叠的操作都应降低信号强度。问题在于代价是什么。

SynthID水印重写实验来源

SynthID 是 Google DeepMind 推出的文本水印方案,其核心机制是在大语言模型生成每个 token 时,根据前若干 token(通常为 4 个)的哈希值,对候选 token 的概率分布做一次可复现的伪随机偏置,使被选中的 token 在统计上带有隐秘的、只有掌握密钥者才能验证的偏向。因此,水印并不写在明文里,而是藏在一段连续的 token 转移模式中——只有当重写文本重新出现了与原文相同的 5-token 窗口时,这种偏向才会被检测器累积起来。这解释了为什么 5-gram 重叠率能作为水印强度的代理指标:重叠越少,检测器可用于累积证据的窗口就越少,z-score 随之下降。

z-score 是 SynthID 检测器的输出统计量,衡量被检文本中水印 token 的偏向程度相对于无偏置随机文本的偏离有多大。检测器会在每个位置计算"实际 token 是否落在水印偏置的高分区",把整个序列的命中情况汇总成一个标准分。z 越高,越不可能是巧合;实验中的"被标记率"就是 z 超过某个假阳性阈值(如 1% 假阳性对应的截断值)的文本比例。AUC 则衡量检测器区分水印文本与干净文本的整体能力,0.5 表示完全没有区分力,1.0 表示完美区分。这两个指标共同刻画水印的可检测性,而不必依赖单篇文本的二元判定。

实验设置

重写器选用 gemma3:12b——上一篇文章中洗水印效果最强的模型。相同的提示词、相同的种子、相同的上下文长度,仅改变采样选项。

五个设置:温度 0(贪心解码)、0.7(原始基线)、1.0、1.3、以及温度 1.3 配合 top-p 1.0。文本为同一批 100 篇带水印原文(190 到 900 词,覆盖 10 个体裁),每个设置还重写了 100 篇干净原文作为对照。检测器和截断值未做重新校准。

意义评估方面,500 对原文-重写被混洗成 25 批、每批 20 对,由 Claude 评委在不知道设置的情况下按意义(1-5 分)和流畅度(1-5 分)打分。

实验结果:旋钮有效,但悬崖在 top-p

调高温度确实能减少水印信号,而且在不触动核采样的情况下几乎是免费的。

温度 1.3 + 默认 top-p 0.9:免费的一半。 被标记率从 25% 降到 14%,配对 z 变化为 -0.48,置信区间远离零。评委区分不出差异:意义 4.11 对 4.19,流畅度 4.93 对 4.95,均在噪声范围内。这意味着攻击者可以在不损害文本质量的前提下,洗掉约一半的水印信号。

贪心解码反而保留更多水印。 温度 0 时重写器保留了 12.7% 的原文 5-gram(基线为 10.4%),被标记率从 25% 升到 31%。再次印证了"第二遍效应":最高概率的措辞就是原文的措辞,水印随之而来。

打开长尾,文本先于水印崩溃。 在相同温度下将 top-p 升到 1.0,被标记率仅从 14% 降到 11%,统计上无法区分。但它明显损害了重写质量:平均意义分下降 0.37,流畅度下降 0.63,四分之一文本意义得分在 3 分或以下(基线为 7%)。具体案例包括:一篇科学解释文丢失了反四次方定律并编造了"两到十倍";一个故事弄错了母亲的去世日期和对话归属;一份事故报告将"电压降低于阈值"改成"电压读数低于允许水平",意思完全反转。

干净文本的零假设没有移动。 五个设置下干净重写的平均 z 分别为 0.07、-0.01、-0.04、0.08 和 0.20,5-gram 丢失率与水印文本相同。信号下降是真实的信号损失,而非检测器对干净文本认知的偏移。

没有任何设置能归零。 即使最热的设置,在 1% 假阳性截断下仍有 11% 的重写被标记,对重写零假设的 AUC 仍有 0.67。上一篇文章的结论依然成立:对单篇短文本太微弱无法指控,但累积到整个作品集就足够显著。

核采样(top-p) 与温度是两种正交的采样控制。温度是给 logits 除以一个系数后再做 softmax,改变的是整个分布的陡峭程度;top-p 则是先按概率从高到低累加,截断到累积概率达到 p 为止,把长尾之外的低概率 token 直接从候选集中剔除,再在剩余集合内重新归一化并采样。因此即使温度很高、分布已经被压平,只要 top-p 保持 0.9,那些极不可能的词依然无法被选中。反过来,当 top-p 调到 1.0,长尾完全开放,重写器在高温度下就可能挑到语义上不合理但概率极低的词,这正是实验中事实被扭曲、流畅度下降的来源。

贪心解码 指每一步都直接选择概率最高的 token,不做任何随机采样,因此在给定模型、提示词和上下文的情况下输出完全确定,同一输入永远得到同一输出,这也是文中说"温度 0 在构造上是确定性的"的原因。它与低温采样的区别在于:温度 0.1 仍会从接近顶部的分布中随机抽取,而贪心解码连这一点随机性都没有。正是这种"总选最自然措辞"的特性,让贪心重写更容易复现原文的措辞,从而保留更多 5-gram 窗口和水印信号,实验中被标记率反而上升到 31%。

这些发现意味着什么

对试图隐藏 AI 使用的人: 重写器的温度是一个真实有效的杠杆,在触及核采样之前是免费的。一个热重写配合默认 top-p,可以消除默认设置留下的大约一半痕迹,且无任何可测量的文本质量损失。超越核采样后几乎再无收益,而文本开始丢失事实。确定性重写是最差的选择。

对试图检测 AI 使用的人: 攻击者手中有一个你看不见的旋钮,而它的前半段范围对他们毫无成本。在最佳攻击者设置下幸存的水印痕迹约为十分之一(1% 假阳性率下)。你的汇总统计仍然有效;单文档判定则变得更弱。

对 5-gram 代理指标: 它再次成立。每个降低重叠的设置都按序降低了信号。如果你无法运行检测器,统计存活的 5-gram 仍能告诉你大部分故事。

另一个值得注意的数字:在全部 500 篇被判分的重写中,5-gram 保留量与意义得分的相关系数仅为 0.15。保留原文措辞几乎买不到忠实度。忠实度来自模型对文本的理解,而复制只是一种恰好携带水印的习惯。

局限与注意事项

实验仅使用一个重写器、一个提示词、每个设置一个种子。温度 0 在构造上是确定性的。不同重写器可能有不同的核采样断裂点。每项仅一个评委,无第二评分者和一致性检查,1-5 分制较为粗糙,应关注配对区间而非原始均值。基线也并非无瑕:评委发现 0.7 运行将茶叶价格"一克朗每磅"变成"一磅每克朗",另外两个设置将一家 17 年历史的餐馆变成了 17 岁的老板。

每个设置 100 篇文本,被标记率的置信区间较宽。AUC 列和配对 z 差异是更强的证据。top-k 和生成器自身的温度未被改变。Ollama 模型为 4-bit 量化。

整个流程在第一篇文章代码基础上加了四个短脚本:一个通过 Ollama HTTP API 运行各设置的重写,一个用相同检测器评分并统计存活 5-gram,一个做配对分析,一个构建盲评批次并收集分数。约三小时 GPU 时间,几乎全部用于重写。

提出这个问题的读者问对了。答案不是我会猜到的那个:旋钮确实有效,但悬崖在 top-p,不在温度。

#SynthID水印#AI文本检测#大模型重写#温度采样#top-p核采样#水印消除#LLM采样参数
分享:

相关推荐