重叠窗口如何凭空造出统计显著性：回测中的隐形陷阱

一个 walk-forward 回测跑出了看起来可以发表的结果：913 个因果锚点，30 分钟方向准确率。这篇文章要讲的，是它为什么是假的——以及一个比"结果归零"更危险的失败模式。

那个看起来可以发表的结果

先看基准。很多人在时间序列里做方向预测时，会默认拿 50% 当及格线。但真正该击败的基准是多数类比例（majority class）。如果 51% 的走势是上涨，那么"永远猜涨"就能拿到 51%。拿 50% 当基准，等于把市场的轻微方向偏置误当成模型信号。

这次的结果是：模型 55.2%，多数类 51.1%，净优势 +4.1 个百分点，n=912，约 2.4 个标准误。在大多数审稿标准下，这已经越过了显著性的门槛。

问题出在锚点的采样方式上。

为什么它站不住脚

锚点之间的间隔大约是 7 分钟，而预测横跨 30 分钟。

这意味着，10:00 出发、覆盖到 10:30 的预测，和 10:07 出发、覆盖到 10:37 的预测，在结果上共享了 23 分钟——占整个 30 分钟窗口的绝大部分。它们不是独立观测，而是同一段行情被反复计数。n=912 实际上对应的是远少于 912 个独立的市场事件。

标准误按 n 的平方根缩放。人为把 n 灌大，误差棒就被人为压窄。这不是数据量多，而是数据量被重复计算。

大多数金融时间序列预测任务中，样本量到底是怎么被灌大的？ 一个常被忽视的关键在于滑动窗口评估的底层实现。以 30 分钟预测视野、7 分钟锚点间隔为例，每向前滑动一次锚点，就生成一条包含特征与标签的样本，但这些样本的标签窗口高度重合，导致同一段价格走势被反复当作独立证据。在机器学习实践中，数据泄漏（data leakage）与样本重复（sample duplication）属于同一类系统性偏差，它们都会让验证集与训练集的信息边界模糊，或者让验证集内部的信息过度共享。很多回测框架默认按固定步长生成锚点，并不检查实际独立性，这使得研究者即使使用了严格的 walk-forward 切分，也可能无意中制造出上千个高度相关的观测，把标准误的估计压到真实水平以下。

在非重叠锚点上重新打分

把同一套评估换成互不重叠的锚点，只看独立的观测：

方案	n	多数类	模型	净优势	标准误
重叠	912	51.1%	55.2%	+4.1 pp	2.4 s.e.
非重叠	163	54.0%	59.5%	+5.5 pp	1.4 s.e.

注意发生了什么：优势反而变大了，从 +4.1 涨到 +5.5 个百分点，但显著性几乎腰斩，从 2.4 个标准误掉到 1.4 个。膨胀因子约 2.4 倍，恰好是 sqrt(912/163)。

这正是这个陷阱最阴险的地方。

陷阱的真正杀伤力：效应量会变大

如果重新打分后优势塌缩到零，任何人都会立刻判定结果已死。但现实是它反而改善了，这会引诱你得出"真实效应其实更强，我只是需要更多数据"的结论。

一个小样本上的更大估计值，正是噪声的典型长相。样本越小、方差越大，极端值出现的机会越多。你以为抓住了信号，其实只是抽到了一根更长的尾巴。

原文作者对此的总结很直接：这不是统计功效的问题，是有效样本量被高估的问题。

为什么估计值在小样本上反而会变大？ 这涉及统计估计的方差-精度权衡。在样本量较小时，抽样分布更宽，极端值出现的概率更高，估计量容易偏离总体真值。当观测彼此独立且样本足够大时，中心极限定理保证估计量围绕真值收敛，方差随 n 增大而缩小。反之，重叠窗口虽然名义上增加了 n，但有效样本量并未增加，于是估计量的波动依然很大。非重叠锚点把样本量从 912 降到 163，虽然单次估计的方差上升，但估计量不再被同一段行情反复加权，因而更接近真实效应。然而，由于小样本更容易出现较大的点估计，研究者看到 +5.5pp 的优势反而会误以为信号更强——这恰是噪声的典型表现，而不是功效不足的证据。

一个可以立刻执行的检查

判断是否存在重叠污染，只需要比较两个数：锚点间隔 vs 预测视野。

• 间隔小于视野 → 存在重叠，n 被灌水
• 间隔等于或大于视野 → 观测相互独立

如果已经跑出结果，可以事后用非重叠锚点重新打分。更稳妥的做法是一开始就把锚点按一整个视野的间隔来排布，从源头上消除重叠。

这个检查不限于金融回测。任何"窗口宽于步长"的滑窗评估都适用：传感器数据处理、电力负荷预测、异常检测、医疗监护——只要评估用的是滑动窗口，且窗口比步幅宽，就会出现同样的膨胀。

一点延伸思考

重叠窗口的问题在方法论上属于伪重复（pseudoreplication）的一种。生物统计和生态学领域对此早有系统讨论，但在工程和量化圈子里，它常常被忽视，因为滑窗评估写起来太自然了——滚动预测、逐点打分，代码几行就跑完，没人会去检查锚点是不是互相独立。

一个实用的自检习惯：在看到任何"n 很大、显著性很高"的时序结果时，先问一句——这 n 个观测之间，有多少是共享了同一个结果窗口的？答案往往会让误差棒重新长回来。

参考来源：Michael Hairetis 的实验记录，原文链接。