你的回测为何“击败”SOTA？天气协变量泄漏陷阱

一次“击败”SOTA的幻觉

三周前，一位工程师将 Timestral 模型用于日前负荷预测，替换了原先的梯度提升模型。回测结果令人振奋：MASE 从 0.71 降到 0.49。他一度以为自己找到了更优解。

但随后他发现，这个“胜利”来自一个隐蔽的错误——天气协变量在回测中发生了泄漏。问题不在于模型本身，而在于特征管道的设计。

泄漏是如何发生的

特征管道将天气数据按时间戳连接。在回测时，管道取到的是实际温度，而非预报温度。更关键的是，这个特征被标记为“已知未来”（known future），因此模型可以跨越整个预测视野关注它。Timestral 的论文中明确说明，已知未来特征会参与全视野的注意力计算。

问题在于：在真实预测场景中，预测时刻只有天气预报可用，没有实际温度。回测使用了未来信息，人为抬高了性能。

修正方法很直接：用归档的预报数据重新运行。结果 MASE 为 0.66，仅比原来的 0.71 略有改善。这才是模型在真实条件下的合理表现。

MASE（Mean Absolute Scaled Error） 是时间序列预测中常用的精度指标，定义为预测误差与 naive 基准（如季节性 naive）误差的比值。MASE 小于 1 表示模型优于基准，数值越低越好。其优势在于不受数据量纲影响，便于跨序列比较。但需注意，MASE 的可比性高度依赖于基准的选择和计算方式，不同论文可能采用不同的缩放因子，直接比较不同来源的 MASE 值需谨慎。在本案例中，MASE 从 0.71 降至 0.49 看似显著提升，但泄漏修正后回升至 0.66，说明指标本身对特征质量极为敏感。

已知未来特征（known future covariates） 是时间序列模型中的一类特殊输入，指在预测时刻其未来值确实已知的变量，如日历特征（节假日、星期几）、计划促销活动等。模型可以安全地利用这些特征跨越整个预测视野进行注意力计算。然而，若将实际观测值（如实际温度）错误标记为已知未来特征，模型便会“看到”未来信息，导致回测性能虚高。正确做法是仅将预测时刻可获得的预报值或确定性计划标记为已知未来，并对特征进行严格的时序可用性审计。

回测中的“时间旅行”陷阱

这个案例揭示了时间序列回测中一个常见但容易被忽视的陷阱：特征泄漏。当特征管道对时间戳进行连接时，很容易无意中引入未来信息。

据该工程师描述，他将实际温度标记为“已知未来”特征，这相当于允许模型在预测时“看到”未来。在负荷预测这类场景中，天气是强协变量，泄漏带来的性能提升会非常显著。

类似的问题在业界并不少见。许多公开的 SOTA 时间序列结果并未详细说明数据划分方式，且性能指标往往集中在较窄的区间内。该工程师提到，在 HyperAI 的 SOTA 表格中，没有页面说明数据是如何划分的。这增加了复现和比较的难度。

GIFT-Eval 是一个面向时间序列基础模型的公开评估基准，旨在提供标准化的数据划分和评估协议，以促进模型间的公平比较。它覆盖多个领域和预测视野，并强调零样本或少样本评估。在本案例中，Timestral 在 GIFT-Eval 上的 MASE 为 0.658，与工程师修正后的 0.66 接近，而原始泄漏结果 0.49 明显偏离。这提示从业者：当自有回测结果显著优于公开基准时，应首先怀疑数据泄漏或划分不一致，而非急于宣布击败 SOTA。

归档预报的选择困境

用归档预报重跑后，MASE 降到 0.66。但工程师提出了另一个问题：预报归档每天有多个版本，选择最新版本可能仍然存在“作弊”嫌疑。因为最新版本可能包含了更多观测信息，在回测时间点并不可得。

此外，归档仅覆盖 14 个月，更早的回测都不可用。他正在重建回测框架，以解决这些问题。

给从业者的检查清单

基于这个案例，可以提炼出几条实用建议：

1. 验证特征的时序可用性：对每个特征，明确在预测时刻是否真正可得。实际观测值在预测时刻通常不可得，只有预报值可用。
2. 区分“已知未来”与“未知未来”：如果模型支持已知未来特征，必须确认该特征在真实场景中确实已知。否则应标记为未知或直接排除。
3. 使用归档预报数据：当使用预报作为特征时，应使用预测时刻可获得的预报版本，而非事后最新版本。
4. 检查公开结果的划分细节：在引用 SOTA 数字时，注意其数据划分方式是否与你的场景一致。
5. 保留回测日志：记录每次回测的特征版本和预报版本，便于追溯和复现。

模型选择与工程现实的平衡

Timestral 在修正后的回测中仍优于原模型：0.66 对 0.71。但提升幅度远小于最初报告的 0.49。这提醒我们，在评估新模型时，需要区分“回测性能”和“上线性能”。

该工程师的经历也反映了时间序列领域的普遍挑战：公开基准与真实业务场景之间存在鸿沟。GIFT-Eval 上 Timestral 的 MASE 为 0.658，而他在自有数据上修正后的结果为 0.66，两者接近。原始 0.49 的结果则明显偏离，正是泄漏的警示信号。

对于准备采用新模型的团队，建议先在严格隔离未来信息的回测框架中验证，再考虑上线。毕竟，一个在回测中“击败”SOTA 的模型，可能只是偷看了答案。