随机ML实验的等效性检验与运行次数设计

机器学习领域常出现“方法A与方法B效果相当”的结论，但支撑这种说法的证据往往只是两三次运行之间差异不显著。这种基于“非显著性”的推断在统计上并不稳健，也无法真正证明两种方法在实际效果上等价。近期一项研究提出了针对随机机器学习实验的等效性检验协议和运行次数设计方法，为这类比较提供了更严谨的统计框架。

为什么“不显著”不等于“等效”

在随机机器学习实验中，每次运行的结果会受到随机种子和评估项目双重随机性的影响。仅凭两三次运行得到的均值差异不显著，就宣称两种训练方法等效，存在两个根本问题。首先，样本量过小导致检验功效不足，即使真实存在差异也可能无法检测到。其次，传统假设检验的原假设是“无差异”，不拒绝原假设并不能证明原假设为真，只能说明证据不足以否定它。

这项研究指出，要证明两种方法“实际等效”，需要预先设定一个等效边界（margin），并在此基础上进行正式的等效性检验。这类似于药物临床试验中证明仿制药与原研药生物等效的做法。

**等效边界（margin）**是指在开展等效性检验之前，研究者需要预先设定的一个可接受的最大差异范围。它的含义是：如果两种方法的真实效果差异落在该范围内，就可认为它们在实际应用中“足够等效”。边界的设定必须基于领域知识或实际需求，而非数据本身，否则会引入偏倚。例如在药物仿制药研究中，边界通常由监管机构规定；在机器学习中，边界可依据指标的实际意义来定，如AUROC差异不超过0.01。边界设定后，等效性检验的结论才能被明确解释：若置信区间完全落在边界内，则拒绝“差异超出边界”的原假设，从而支持等效性结论。

两级方差模型与TOST检验

研究提出的协议核心是一个两级方差模型：种子层面的运行间离散度与项目层面的噪声被分开建模。这种模型更准确地反映了随机机器学习实验的方差结构——同一方法在不同随机种子下的表现波动，与同一模型在不同数据项上的预测波动是两种不同的变异来源。

等效性检验采用双单侧检验（TOST），等价于检验置信区间是否完全落在预设的等效边界内。对于复合统计量，研究采用两级bootstrap方法进行推断。这种方法不依赖正态性假设，适用于AUROC等非高斯分布的指标。

双单侧检验（TOST） 是等效性检验的标准方法。它将等效性问题转化为两个单侧检验：第一个检验原假设“差异 ≤ -margin”，备择假设“差异 > -margin”；第二个检验原假设“差异 ≥ margin”，备择假设“差异 < margin”。只有当两个单侧检验均拒绝原假设时，才能得出结论认为差异落在（-margin, margin）区间内，即等效。TOST等价于检查差异的（1-2α）置信区间是否完全位于等效边界内。与传统的“无差异”原假设检验不同，TOST的原假设是“存在不可忽略的差异”，因此拒绝原假设直接支持等效性，逻辑上更为严谨。

闭式公式：从等效边界到运行次数

实践中最关心的问题是：需要多少次运行才能可靠地证明等效？研究给出了一个闭式公式，将等效边界和目标功效转换为每种方法所需的运行次数。公式的shifted-t修正项根据实际的两级过程进行了校准。

在270个网格点的仿真实验中，以及非高斯种子分布条件下，该公式在设计相关范围内（每种方法五次运行起）得到了验证。这意味着研究者可以在实验开始前，根据期望检测的等效边界和可接受的功效水平，直接计算出所需的运行次数。

统计功效（power） 是指在真实差异确实等于或超出等效边界时，检验能够正确拒绝原假设（即得出非等效结论）的概率。在等效性检验的语境下，功效通常指：当两种方法的真实差异恰好落在边界上或之外时，TOST能够成功检测到这种差异的概率。功效越高，实验越有可能得出可靠结论。研究中的闭式公式正是以目标功效（如80%）为输入，反推所需的运行次数。功效不足会导致实验即使存在真实差异也无法检测，从而错误地宣称等效，这也是原文强调“设计阶段规划运行次数”的核心原因。

案例研究：为什么有些等效性无法被证明

研究分析了一个联合能量模型的四组已发表运行结果。分析表明，该实验未能证明等效性在很大程度上是由设计决定的：按照这些运行校准的方差，每种方法仅两次运行时证明等效的概率接近3%；而要在80%功效下证明0.01 AUROC的等效性，即使两种方法完全相等，也需要每种方法十二次运行。

第二项案例研究在千种子CIFAR-10模型库和MultiBERTs上进行，用真实种子分布验证了公式（在该范围内误差在0.05以内），并解决了一些在两三次运行下无法定论的比较。这些案例说明，实验设计阶段的运行次数规划，直接决定了后续能否得出可靠的等效性结论。

两阶段设计：先试点，再计算

研究还探讨了两阶段设计：先进行小规模试点实验估计方差，再根据公式计算正式实验所需的运行次数。实验表明，使用试点方差的上置信界（而非点估计）可以显著减少运行次数不足的问题。这是因为试点实验本身方差估计不确定性较大，直接使用点估计容易低估所需样本量。

这一发现对实践有直接指导意义：当研究者计划通过试点实验来确定运行次数时，应当使用方差估计的上置信界而非点估计，以避免正式实验功效不足。

对机器学习实验实践的启示

这项工作为随机机器学习实验的比较研究提供了可操作的统计工具。研究揭示了一个容易被忽视的事实：许多声称等效的结论，可能仅仅因为实验设计中的运行次数不足而无法被证明。在发表比较性结果时，明确报告等效性检验的结果和运行次数设计的依据，将有助于提升机器学习实证研究的可复现性和可信度。

对于需要比较训练方法的研究者，建议在实验设计阶段就明确等效边界，根据目标功效计算所需运行次数，并在结果报告中同时呈现等效性检验的结论。这比事后根据非显著结果宣称等效更为严谨。