测试时干预时机：PORTAL控制器如何动态决策

测试时干预的困境：平均准确率掩盖了批次间的剧烈波动

测试时适应（Test-time Adaptation）让部署后的模型能够应对输入分布的变化，但同一种干预手段在不同批次上的效果可能截然相反。以更新归一化统计量为例，它在处理损坏图像时往往能提升性能，可一旦批次中某个类别占据主导，这种干预反而会严重损害准确率。

问题的根源在于评估方式：平均准确率将成功与失败混为一谈，无法告诉模型“此刻是否应该启用干预”。目标标签本可以作为决策依据，但标签获取成本高昂且数量稀缺，况且有些选择本身就一目了然，不值得再花代价去验证。

测试时适应（Test-time Adaptation, TTA） 指模型在部署后、面对与训练分布不同的输入时，利用无标签或少量标签的测试数据对自身进行在线调整的方法。常见手段包括更新归一化层的统计量（如 BatchNorm 的均值和方差）、熵最小化、伪标签自训练等。TTA 的目标是在不重新训练全模型的前提下，让模型适应分布偏移（如损坏、风格变化）。然而，TTA 的效果高度依赖批次构成：当批次内类别均衡时，统计量估计较可靠；当批次被单一类别主导时，更新后的统计量会偏离真实分布，导致性能骤降。这种批次间的不稳定性是 TTA 实际部署中的核心风险之一。

PORTAL：把“何时干预”转化为可控的决策问题

针对上述矛盾，研究者提出了 PORTAL——一个决定何时部署干预、对哪些输入进行标注、以及何时停止查询的控制器。它的核心思路是把每一个可用的预测规则视为候选方案，并在当前反馈到来之前就固定其预测结果。这样一来，每获取一个标签，就等于在同一个输入上对所有候选方案进行了一次公平的横向评估。

PORTAL 将来自同一样本的共享比较结果汇总起来，把查询预算导向那些仍有可能超越当前领先者的候选方案。当剩余标签已无法改变最终选择，或者可能的准确率增益不足以抵消又一次查询的成本时，控制器便会停止。这种机制本质上是在“证据充分性”与“查询代价”之间做权衡，而不是盲目地持续标注。

候选方案（candidate / prediction rule） 在本文语境下指一组可选的预测策略，例如“不干预”“更新归一化统计量”“熵最小化”等。PORTAL 将每个候选视为一个独立的决策臂，并在获取新标签之前固定各候选对该输入的预测结果。这样，当标签到达时，同一个标签可以同时评估所有候选在该输入上的对错，形成一次“共享比较”。这种设计借鉴了多臂老虎机（multi-armed bandit）中的最佳臂识别思想：目标不是最大化累积奖励，而是以最少查询次数找出当前最优候选。共享比较的关键优势在于，一次标注的代价被分摊到所有候选上，从而显著降低区分候选所需的标签总量。

反馈需求与准确率差距、共享错误的关联

论文的分析揭示了所需反馈量与准确率差距、共享错误之间的内在联系，也解释了为什么某些选择需要的证据远少于其他选择。当候选方案之间的准确率差距较大、且它们在不同样本上犯的错误较为分散时，少量标签就足以做出可靠判断；反之，若候选方案表现接近且错误高度重叠，则需要更多反馈才能区分优劣。

这一分析为控制器的高效性提供了理论支撑：PORTAL 并非对每个决策都投入同等数量的标签，而是根据候选方案之间的“可区分性”动态调整查询强度。实验也验证了这一点——当某个固定规则本身已经表现良好时，PORTAL 只用很少的反馈就能保持其性能，避免不必要的标注开销。

共享错误（shared errors） 指多个候选方案在相同样本上同时犯错的现象。当候选之间的错误高度重叠时，一个标签往往无法区分它们——因为无论选哪个候选，在该样本上都会得到相同的结果。反之，若候选的错误模式差异较大，单个标签就能提供较强的区分信号。准确率差距与共享错误共同决定了“可区分性”：差距大且错误分散时，少量标签即可可靠排序；差距小且错误重叠时，需要更多反馈。这一分析将查询预算与候选间的统计差异直接挂钩，为动态停止规则提供了理论依据。

排序稳定性与完整损坏流上的增益保持

改变样本到达顺序是测试时适应中一个容易被忽视的风险：同一组数据以不同顺序呈现，可能导致干预策略做出截然不同的选择，进而引发严重失败。PORTAL 通过共享比较机制防止了这种由到达顺序变化引起的剧烈波动，并在完整的损坏流（corruption stream）上保住了性能增益。

实验结果显示，这种控制机制能够把一种“整体上会损失准确率”的干预手段，转变为在选定批次上有益的选择。换言之，干预本身未必是坏的，关键在于是否用在了正确的批次上——PORTAL 的价值正在于做出这个判断。

周期标签检查与反馈的复用价值

除了即时决策，PORTAL 还引入了周期性标签检查机制，用于判断过往证据是否已经过时，并在条件变化时帮助控制器恢复。这一点对于非平稳环境尤为重要：模型部署后所处的数据分布可能持续漂移，昨天有效的证据今天未必仍然可靠。

更值得关注的是反馈的复用性。获取到的标签不仅用于当前批次的选择，还能用于训练更强的候选方案，供未来批次使用；而选择机制又能把候选方案几乎全部的准确率增益带入实际部署。同一份反馈因此同时改善了两个层面——当下做出的选择，以及后续批次可用的预测能力。这种“一次标注、两处受益”的设计，让有限的标签预算发挥出复合价值。

非平稳环境（non-stationary environment） 指数据分布随时间持续变化的情形，例如季节更替、用户行为漂移或传感器老化。在非平稳环境下，过去收集的标签所反映的候选优劣关系可能失效，控制器若固守旧证据就会做出过时决策。周期性标签检查通过定期获取少量新标签来检验当前领先者是否仍然可靠，并在证据过时时触发重新评估。这与概念漂移（concept drift）检测的思想一脉相承，但更侧重于在有限标签预算下维持决策质量，而非仅检测漂移事件本身。

实践启示

PORTAL 的思路提示我们，测试时适应的核心问题或许不是“用哪种干预”，而是“何时用、对谁用、用到什么程度”。将干预决策建模为候选方案之间的动态比较，并以标签作为共享的评估信号，能够在标签稀缺的现实约束下实现更稳健的部署表现。对于需要在分布漂移环境中长期运行的模型系统而言，这种控制层面的设计，与干预方法本身的改进同样重要。