语料采样如何影响掩码文本重建：预测模型分歧的量化研究

一个被忽视的问题：换一批语料，模型输出会变多少？

机器学习实践中有个常被忽略的假设：如果从同一总体重新采集一批训练语料，模型给出的预测应该大致相同。但「大致相同」究竟是多少？这篇研究针对掩码文本重建（masked-text reconstruction）任务，系统地量化了这种语料采样分歧（corpus-sampling disagreement）——即在相同总体上独立采集两份语料后，各自训练出的预测器输出会出现多大差异。

研究者构建了一个基于邻近 token-pair 计数的平滑预测器，并在 GPT-2 完整的 50,257 词汇表上进行评估。关键的建模选择是：把每一个源文档当作一个观测单位（one observation），而不是把每个 token 都视为独立样本。这个处理方式更贴近真实数据的生成过程，因为同一文档内部的 token 高度相关。

掩码文本重建（masked-text reconstruction）是自然语言处理中的经典自监督任务：给定一段文本，随机遮住若干 token，要求模型预测被遮住的内容。BERT 系列模型的预训练核心便是这一机制（称为 Masked Language Modeling，MLM）。在本文的框架中，预测器的输入是被遮住 token 的相邻上下文（即"邻近 token-pair"），输出是对被遮 token 的概率分布。选择这一任务作为研究对象，原因在于它既足够简单、可以构造出具有封闭解的计数式预测器，又足够贴近大型语言模型的实际预训练场景，使得研究结论具有一定的迁移价值。

核心贡献：一个可提前计算的分歧预测公式

这项工作最有价值的部分，是推导出一个一阶公式，用来预测拟合在两份独立语料上的预测器之间的期望分歧。这个公式有几个值得关注的特性：

• 它考虑了文档长度可变、上下文计数随机，以及跨 token 偏移的相关性三个现实因素；
• 更重要的是，它可以仅凭一份独立的参考语料（reference corpus）计算得出，而无需访问任何一份目标语料。

换句话说，研究者给出了一种在不接触实际训练数据的情况下，预判「换一批数据会带来多少不确定性」的方法。这对于评估模型稳健性和数据依赖性具有实际意义。

这里的"一阶公式"源自统计学中的 delta 方法（delta method）：对一个非线性函数在其期望值附近做一阶泰勒展开，将复杂的随机量近似为线性组合，从而得到其方差的解析表达式。在本文的场景下，预测器的输出是语料计数的非线性函数；通过 delta 方法，研究者将两个独立语料训练出的预测器之间的期望分歧，分解为若干可从单份参考语料直接估计的统计量之和。这一推导的关键挑战在于：文档长度不等且 token 之间存在序列内相关性，导致朴素的独立同分布假设失效。作者通过以"文档"为基本观测单位并引入跨 token 偏移的协方差项，将这两个复杂因素纳入了公式。

实验发现：分歧下降得比预期慢得多

研究在 TinyStories、WikiText-103 和 CNN/DailyMail 三个数据集上做了验证。实验设置是把每份语料从 512 个 chunk 扩大到 2,048 个 chunk（每个 chunk 为 64 个 token）。

按照经典统计学的 $1/n$ 缩放规律，样本量翻两番应当让分歧下降约 75%。但实际结果令人意外：分歧仅下降了 5% 到 40%，远低于理论预期。

研究者将这种缓慢下降追溯到罕见上下文的平滑处理（smoothing of rarely seen contexts）。由于大量上下文在语料中出现频率极低，增加数据量并不能有效降低这些稀疏区域的采样波动，从而拖慢了整体分歧的收敛速度。而他们提出的预测公式能够准确追踪到这种缓慢下降的趋势，验证了方法的有效性。

预测精度的关键：参考语料的规模比相关性建模更重要

一个反直觉但重要的结论是：预测的准确度，更多取决于参考语料的规模，而非如何对相关性建模。

具体来说，参考语料过小时，会系统性地低估真实分歧。为此研究者引入了一个只使用参考数据的源拆分刀切法（source-split jackknife），能将这种校准误差降低 57% 到 59%。

经过这项校正后，不同近似方法各有适用场景：

• 当参考语料小于目标语料时，更简单的平滑多项式近似（smoothed-multinomial approximation）最准确；
• 当参考语料大于目标语料时，非线性源自助法（nonlinear source bootstrap）表现最佳。

这给实际应用提供了清晰的方法选择指引。

刀切法（jackknife）是一种经典的非参数重采样技术，用于估计统计量的偏差和方差。其基本思路是：依次从数据集中删去一个观测，重新计算统计量，再利用这些"留一"估计值来修正原始估计的系统偏差。本文提出的"源拆分刀切法"是对标准刀切法的变体：由于文章以文档为观测单位，每次删去的是一整份文档而非单个 token，且操作对象仅限于参考语料（而非目标训练语料），因此在无需接触目标数据的约束下仍能完成偏差校正。这种方法在参考语料规模偏小、导致方差项被系统性低估时尤为有效，是全文方法论链条中的关键工程环节。

延伸到神经模型：计数方法的能力边界

研究最后把计数式预测与真正的神经网络对照。他们在相同语料上训练了小型掩码扩散语言模型（masked diffusion language models），结果揭示了计数方法的两面性：

一方面，基于计数的预测能部分识别出哪些输入对语料变化最敏感——这说明方法捕捉到了数据依赖性的某些本质规律。

另一方面，它明显低估了神经模型分歧下降的速度。神经模型随数据增长，其输出分歧收敛得比计数预测器快得多。这意味着神经网络具备某种计数模型不具备的泛化与信息共享机制，使其在稀疏上下文上也能更有效地利用数据。

掩码扩散语言模型（masked diffusion language models）是近年兴起的一类生成模型，将扩散过程（diffusion process）的思想引入离散文本域：训练时逐步对文本施加掩码噪声，推理时通过去噪步骤逐步还原完整文本。与 BERT 的单步 MLM 预训练不同，这类模型在推理阶段可以迭代多步，理论上能够建模 token 之间更复杂的联合分布。本文选用它与计数预测器对比，一方面因为其训练目标与掩码重建任务直接对应，另一方面也是为了探究参数化神经网络相对于计数式方法在数据利用效率上的本质差异。实验结果显示，神经模型对稀疏上下文的泛化能力远超计数预测器，这一差距背后的机制仍是开放问题。

对实践者的启示

这项研究虽然偏理论，但对理解数据与模型行为的关系频有价值：

其一，不要简单套用 $1/n$ 的直觉来估计「加数据能减少多少不确定性」，在语言任务的长尾分布下，收益可能远低于预期。

其二，评估模型的数据敏感性时，可以借助独立参考语料进行预测，无需反复重新采集和训练。

其三，计数方法与神经模型之间存在系统性差距，提醒我们在用简单代理模型推断大模型行为时需要谨慎。